[論文レビュー] GIFT: A Real-time and Scalable 3D Shape Search Engine

Song Bai, Xiang Bai+3 more|arXiv (Cornell University)|Apr 7, 2016

3D Shape Modeling and Analysis参考文献 40被引用数 41

ひとこと要約

GIFT は、GPU によるプロジェクションレンダリングとビュー特徴抽出を活用し、2つの逆インデックス（F-IF と S-IF）を組み合わせることで、効率的なマルチビュー照合とコンテキストに基づく再順序付けを実現するリアルタイムでスケーラブルな 3D 形状検索エンジンである。1秒未塔のクエリ応答時間を達成し、ModelNet や SHREC2016 の大規模ベンチマークで最先端の手法を上回り、SHREC2016 の大規模リtrieval トラックで1位を獲得した。

ABSTRACT

Projective analysis is an important solution for 3D shape retrieval, since human visual perceptions of 3D shapes rely on various 2D observations from different view points. Although multiple informative and discriminative views are utilized, most projection-based retrieval systems suffer from heavy computational cost, thus cannot satisfy the basic requirement of scalability for search engines. In this paper, we present a real-time 3D shape search engine based on the projective images of 3D shapes. The real-time property of our search engine results from the following aspects: (1) efficient projection and view feature extraction using GPU acceleration; (2) the first inverted file, referred as F-IF, is utilized to speed up the procedure of multi-view matching; (3) the second inverted file (S-IF), which captures a local distribution of 3D shapes in the feature manifold, is adopted for efficient context-based re-ranking. As a result, for each query the retrieval task can be finished within one second despite the necessary cost of IO overhead. We name the proposed 3D shape search engine, which combines GPU acceleration and Inverted File Twice, as GIFT. Besides its high efficiency, GIFT also outperforms the state-of-the-art methods significantly in retrieval accuracy on various shape benchmarks and competitions.

研究の動機と目的

• 高精度であるものの、大規模なデータベースでは処理が遅いため、3D 形状検索におけるスケーラビリティのギャップを解消すること。
• 3D 形状検索エンジンにおけるマルチビュー照合とコンテキストに基づく再順序付けの高い計算コストを克服すること。
• 大規模な形状リポジトリにおいても、1クエリあたり1秒未塔のリアルタイム応答を実現しながら、検索精度を維持または向上させること。
• GPU による加速と逆インデックス構造を統合することで、大規模な 3D 形状コレクションに効率的にスケーリングできるシステムを設計すること。

提案手法

• 3D モデルからのプロジェクションレンダリングとビュー特徴抽出を高速化するために GPU による加速を活用する。
• 最初の逆インデックス（F-IF）を導入し、ハウスドルフ距離の近似を用いて効率的なマルチビュー照合を実現し、時間計算量を低減する。
• 2番目の逆インデックス（S-IF）を提案し、特徴多様体における局所的形状分布をモデル化することで、コンテキストに配慮した再順序付けを実現する。
• S-IF においてファジー集合理論を用いて、反復的グラフベース手法を用いずに、コンテキスト類似度を効率的に計算する。
• 投影処理中に平行移動、回転、スケーリングに対して不変性を確保するため、ポーズ正規化を採用する。
• ビュー表現に、高次元の記述子（例：L7）を用いたボックオブワード（BoW）パラダイムを採用する。

実験結果

リサーチクエスチョン

• RQ1 大規模なデータベース上で、1秒未塔のクエリ応答時間（リアルタイム性能）を達成できる 3D 形状検索エンジンは構築可能か？
• RQ2 逆インデックスをどのように活用することで、3D リトリーブにおけるマルチビュー照合とコンテキストに基づく再順序付けの両方を高速化できるか？
• RQ3 GPU による加速は、3D 形状検索におけるプロジェクションと特徴抽出の効率をどの程度向上させるか？
• RQ4 F-IF を用いた近似照合は、クエリ時間の大幅な削減を実現しながらも、高い検索精度を維持できるか？
• RQ5 提案された S-IF を用いた再順序付けは、従来の拡散ベース手法と比較して、速度と精度の両面で優れているか？

主な発見

• GIFT は平均クエリ時間が1秒未塔に達し、ベースラインの正確なハウスドルフ照合（0.69秒）よりも著しく高速であり、拡散ベース再順序付けの O(TN³) の計算量と比べてはるかに低い。
• K=256 かつ複数代入（MA=2）を用いた F-IF は、正確なハウスドルフ照合（mAP 0.688）よりも高い検索精度（mAP 0.717）を達成した。
• 最適パラメータ（k₁=10, k₂=4）を用いた S-IF コンponent は mAP を 0.717 まで向上させ、コンテキストに基づく再順序付けの有効性を示した。
• GIFT は、変形を加えたデータセット上で SHREC2016 の大規模リトリーブトラックで1位を獲得し、実世界におけるスケーラビリティとロバストネスの優位性を確認した。
• GPU による加速と2つの逆インデックスの組み合わせにより、高速かつ高精度な検索が可能となり、ModelNet や SHREC といった複数のベンチマークで最先端の手法を上回った。