[論文レビュー] Improving the HardNet Descriptor

Milan Pultar|arXiv (Cornell University)|Jul 19, 2020

Advanced Image and Video Retrieval Techniques参考文献 70被引用数 9

ひとこと要約

この論文は、露出および外観の変化に対して頑健性を向上させる新しいデータセット（AMOS Patches）、最適化されたトレーニングプロトコル、およびアーキテクチャの強化を通じて、HardNetローカル特徴記述子を改善している。PCA圧縮とハイパーパramータチューニングを用いて訓練されたHardNet8は、HPatches、AMOS Patches、IMW Phototourismベンチマークで最先端の性能を達成しており、特にステレオマッチングタスクでは特化型バージョンが先行手法を上回っている。

ABSTRACT

In the thesis we consider the problem of local feature descriptor learning for wide baseline stereo focusing on the HardNet descriptor, which is close to state-of-the-art. AMOS Patches dataset is introduced, which improves robustness to illumination and appearance changes. It is based on registered images from selected cameras from the AMOS dataset. We provide recommendations on the patch dataset creation process and evaluate HardNet trained on data of different modalities. We also introduce a dataset combination and reduction methods, that allow comparable performance on a significantly smaller dataset. HardNet8, consistently outperforming the original HardNet, benefits from the architectural choices made: connectivity pattern, final pooling, receptive field, CNN building blocks found by manual or automatic search algorithms -- DARTS. We show impact of overlooked hyperparameters such as batch size and length of training on the descriptor quality. PCA dimensionality reduction further boosts performance and also reduces memory footprint. Finally, the insights gained lead to two HardNet8 descriptors: one performing well on a variety of benchmarks -- HPatches, AMOS Patches and IMW Phototourism, the other is optimized for IMW Phototourism.

研究の動機と目的

• ワイドベースラインステレオマッチングを想定したHardNetローカル特徴記述子の頑健性と性能を向上させること。
• AMOSデータセットからの登録済み画像を用いて、露出および外観の変化に対して頑健性を向上させる新しいデータセットAMOS Patchesを構築すること。
• データセットの組み合わせ、削減、バッチサイズ、トレーニング期間、損失関数設計といった最適なトレーニング戦略を調査すること。
• 接続性パターン、プーリング、受容 field、CNNビルディングブロックといったアーキテクチャ選択を、手動およびDARTSベースの探索を用いて検討すること。
• PCAによる埋め込み圧縮が記述子の品質とメモリ効率に与える影響を評価すること。

提案手法

• AMOSデータセットに含まれる特定のカメラの登録済み画像から構築されたAMOS Patchesデータセットを提案し、露出および外観の変化に対して頑健性を向上させること。
• 異種のデータセットを組み合わせて削減する手法を導入し、大幅に少ないデータ量で高い性能を達成できるようにすること。
• 一般化損失を用いた正例ペアサンプリング、最大9000のバッチサイズ、最大40エポックのトレーニングパイプラインを採用する。
• DARTSベースのニューラルアーキテクチャ探索を用いて、効果的なCNNビルディングブロックを同定し、VGG型アーキテクチャをResNet型アーキテクチャよりも優先すること。
• PCAを用いて記述子埋め込みを128次元に圧縮し、性能向上とメモリ使用量の削減を実現すること。
• 一般用途向けのHardNet8-Univと、IMW Phototourism向けに最適化されたHardNet8-PTの2つのバージョンを、ドメイン固有のデータ組み合わせを用いてトレーニングすること。

実験結果

リサーチクエスチョン

• RQ1 登録済み画像から導出された新たな露出に頑健なデータセットは、困難なベンチマークにおけるローカル記述子の性能を向上させ得るか？
• RQ2 顕著に少ないサンプル数でトレーニングする場合、データセットの組み合わせと削減技術は記述子の品質にどのように影響するか？
• RQ3 接続性、プーリング、受容 field、CNNブロックといったアーキテクチャ選択は、記述子の性能向上にどのように寄与するか？
• RQ4 バッチサイズやトレーニング期間といった見過ごされがちなハイパーパramータは、記述子の品質にどのように影響するか？
• RQ5 PCAによる記述子埋め込みの圧縮は、性能向上とメモリ使用量の削減にどの程度寄与するか？

主な発見

• AMOS Patchesデータセットは露出および外観の変化に対して顕著に頑健性を向上させ、HPatchesおよびAMOS Patchesベンチマークでベースライン記述子を上回っている。
• HardNet8-Univは、全HPatchesスプリットで平均平均精度（mAP）60.95を達成し、元のHardNet（52.79）およびGeoDesc（59.15）を上回っている。
• HardNet8-PTは、IMW Phototourism Stereo 8kベンチマークで平均平均正答率（mAA）57.58を達成し、GeoDesc（51.11）を含むすべての先行手法を上回っている。
• バッチサイズ9000、40エポックのトレーニングは優れた記述子品質をもたらすが、より小さなバッチサイズや短いトレーニング期間では性能が劣化する。
• 512次元の埋め込みをPCAで128次元に圧縮することで、IMW PhototourismでのmAAが2.5ポイント向上し、メモリ使用量も削減された。
• フィルタリングと組み合わせによるデータセットサイズの1桁分の削減でも、同等の性能が得られ、高いデータ効率を示している。