[論文レビュー] PN-Net: Conjoined Triple Deep Network for Learning Local Image Descriptors

Vassileios Balntas, Edward Johns+2 more|arXiv (Cornell University)|Jan 19, 2016

Advanced Image and Video Retrieval Techniques参考文献 17被引用数 155

ひとこと要約

PN-NetはSoftPN損失を用いた結合三つ組CNNを介してコンパクトな局所画像記述子を学習し、従来のCNNベースの記述子より高速な抽出と改善されたマッチング精度を実現します。訓練は迅速で（約2分/エポック）、低次元（約128次元）の記述子を用い、最近傍探索を高速に適しています。

ABSTRACT

In this paper we propose a new approach for learning local descriptors for matching image patches. It has recently been demonstrated that descriptors based on convolutional neural networks (CNN) can significantly improve the matching performance. Unfortunately their computational complexity is prohibitive for any practical application. We address this problem and propose a CNN based descriptor with improved matching performance, significantly reduced training and execution time, as well as low dimensionality. We propose to train the network with triplets of patches that include a positive and negative pairs. To that end we introduce a new loss function that exploits the relations within the triplets. We compare our approach to recently introduced MatchNet and DeepCompare and demonstrate the advantages of our descriptor in terms of performance, memory footprint and speed i.e. when run in GPU, the extraction time of our 128 dimensional feature is comparable to the fastest available binary descriptors such as BRIEF and ORB.

研究の動機と目的

• 学習時間と実行時間を削減したCNNベースの局所記述子の学習を動機づける。
• トリプレット内の正/負の制約を活用するトリプレットベースのネットワーク（PN-Net）の開発。
• 重いハードネガティブマイニングを必要とせず、正と負の関係の両方を活用するSoftPN損失の導入。
• 低次元の記述子と高速推論で競争力のあるまたは優れたマッチング性能を達成。

提案手法

• 距離度量層を明示的に用いず、画像パッチに対してD(p)記述子を計算する二枝CNNを用いる。
• p1とp2が同一3D点から、nが別の点からなるトリプレット{p1, p2, n}で訓練する。
• トリプレット内の最小の負距離が正距離を超えるよう促すSoftPN損失を導入する。
• 同じ基盤CNNを用いたシアムゼベースの手法（例：MatchNet、DeepCompare）と比較する。
• 2層の畳み込み層からなるコンパクトなネットワークを提供し、128次元または256次元の記述子を出力し、GPU加速で動作する。
• データ拡張は使用せず、訓練はPatchデータ（Liberty/Yosemite/Notredame）からのオンザフライのトリプレットを用いる。

実験結果

リサーチクエスチョン

• RQ1 SoftPN損失を用いたトリプレットベースのCNNは、ペアベース（シアムゼ）CNNアプローチより局所記述子のマッチングを改善しますか？
• RQ2 PN-Netは低次元の記述子と高速な訓練/抽出時間で競争力のあるマッチング精度を達成しますか？
• RQ3 提案されたSoftPN損失は、ヒンジ埋め込み法やSoftMax比と収束と性能の点でどう比較されますか？
• RQ4 PN-Netの一般化特性は、データセット（Liberty、Notredame、Yosemite）およびOxfordベンチマークでどうですか？

主な発見

• トリプレット訓練を伴うSoftPN損失は、ヒンジ損失およびSoftMaxベースのトリプレット損失よりマッチング精度を向上させる。
• PN-Netは、128次元または256次元のコンパクトな記述子を出力しつつ、最先端または競争力のある性能を達成する。
• 訓練は高速で（Titan X上でエポックあたり約2分）、GPU上の記述子抽出は高速なバイナリ記述子と同様の速度である。
• 他のCNNベースの記述子と比較して、メモリ占有と訓練時間を削減しつつ、精度を維持または改善する。
• データセット間の一般化性能は高く、データセット間の転移が良好に観察される。
• 本手法は大規模マッチングタスクに適したリアルタイム対応の記述子抽出を実現する。