[論文レビュー] Matchable Image Retrieval by Learning from Surface Reconstruction

Tianwei Shen, Zixin Luo+5 more|arXiv (Cornell University)|Nov 26, 2018

Advanced Image and Video Retrieval Techniques参考文献 43被引用数 9

ひとこと要約

本論文は、3次元表面再構築を活用して細粒度のトレーニングデータを生成することで、マッチング可能な画像検索（特に3次元再構築に不可欠な重複画像の検索）のためのCNNベースの手法を提案する。バッチ化されたマスクトリプレット損失とメッシュ再投影を導入し、幾何的に意識された特徴を学習する。この手法は、BoWモデルや先行するCNN手法に比べ、マッチング可能な検索ベンチマークで顕著に優れた性能を示す。

ABSTRACT

Convolutional Neural Networks (CNNs) have achieved superior performance on object image retrieval, while Bag-of-Words (BoW) models with handcrafted local features still dominate the retrieval of overlapping images in 3D reconstruction. In this paper, we narrow down this gap by presenting an efficient CNN-based method to retrieve images with overlaps, which we refer to as the matchable image retrieval problem. Different from previous methods that generates training data based on sparse reconstruction, we create a large-scale image database with rich 3D geometrics and exploit information from surface reconstruction to obtain fine-grained training data. We propose a batched triplet-based loss function combined with mesh re-projection to effectively learn the CNN representation. The proposed method significantly accelerates the image retrieval process in 3D reconstruction and outperforms the state-of-the-art CNN-based and BoW methods for matchable image retrieval. The code and data are available at https://github.com/hlzz/mirror.

研究の動機と目的

• 3次元再構築において幾何的重複が鍵となるマッチング可能な画像検索において、CNNベースの手法とBoW手法の性能差を是正すること。
• 既存のCNN手法の限界を克服すること。これらはオブジェクト検索データセットで訓練されており、局所的な幾何的重複を捉えられていない。
• データバイアスを低減し、現実的な3次元再構築シナリオでの訓練を可能にする、大規模で幾何的に豊かなデータセット（GL3D）を構築すること。
• 密度的な対応関係から得られる3次元メッシュ再構築を用いて、細粒度で重複に注意を向けるトレーニングデータを自己教師付きパイプラインで生成すること。
• 領域情報と幾何的一致性を組み込んだ、効率的でスケーラブルなトレーニング目的を設計し、重複画像の検索精度を向上させること。

提案手法

• 378のシーンと完全な3次元再構築を備えた大規模なSfMデータセットGL3Dを構築し、トレーニングのための幾何的監視を提供する。
• 3次元メッシュ再構築からの密度的な対応関係を自動的に用いて、画像の重複領域を示す重複マスクを生成することで、教師データを自動的に生成する。
• 重複する画像ペアの特徴埋め込みを近づける一方で、非重複ペアは分離させるよう促進するバッチ化されたマスクトリプレット損失（MTL）を提案する。
• トレーニング中にメッシュ再投影を統合し、特徴を再び3次元メッシュ表面に投影することで、幾何的一致性を強制する。
• 局所的特徴の整合性を活用して、地域的マッチングを用いて検索結果を精緻化する後処理ステップを適用する。
• 大規模データセット上でトレーニングの高速化と最適化効率の向上を図るため、バッチ内マイニングを適用する。

実験結果

リサーチクエスチョン

• RQ1 幾何的重複が主な基準となるマッチング可能な画像検索において、CNNベースの手法が伝統的なBoWモデルを上回ることができるか？
• RQ2 3次元表面再構築を活用して、高品質で細粒度のトレーニングデータを画像検索用に生成できるか？
• RQ3 グローバルな埋め込みと局所的領域情報の両方を組み込んだ損失関数が、重複画像の検索性能を向上させられるか？
• RQ4 大規模で幾何的に豊かなデータセット（GL3D）でトレーニングすることで、標準的なオブジェクト検索ベンチマークに見られるデータバイアスが軽減されるか？
• RQ5 メッシュ再投影と重複マスクの統合により、3次元再構築パイプラインにおけるより強固で正確な特徴学習が可能になるか？

主な発見

• 提案手法は、SOTAのCNNベースの手法（siaMAC、NetVLAD）を上回り、SfMにおけるマッチング可能な画像検索でBoWモデルと同等の性能を達成した。
• マドリード・メトロポリスデータセットでは、トップ100候補から494枚の画像を検索した。これはsiaMACの433枚、NetVLADの467枚を上回り、siaMACに比べ10%の改善を示した。
• ゲンダルメンマルクトのシーンでは、トップ100候補から1,049枚の画像を検索した。これはsiaMACの977枚、NetVLADの1,002枚を上回り、再構築精度は同等であった。
• アーツクアッドデータセット（6,514枚）では、トップ100候補から5,887枚の画像を検索し、トップ115候補では6,030枚を検索した。BoWに近い性能を達成しながらも、結果の対称性が高く維持された。
• 再投影誤差（0.58px–0.67px）がCNNベースラインを下回り、トラック長が長く、SfMパイプラインにおけるより良い整合性と一貫性を示した。
• アブレーションスタディの結果、マスクトリプレット損失に加えメッシュ再投影を組み込むことで、特にテクスチャが豊富なシーンで性能が顕著に向上した。一方で、テクスチャが乏しいシーンではBoWが依然として優れていた。