[論文レビュー] Sketch-based 3D Shape Retrieval using Convolutional Neural Networks

Fang Wang, Le Kang+1 more|arXiv (Cornell University)|Apr 14, 2015

3D Shape Modeling and Analysis参考文献 20被引用数 129

ひとこと要約

本論文は、3次元形状のスケッチベース検索手法を提案する。この手法は、主観的な「最良視点」選択の必要を回避し、3次元モデル1つあたり2つの事前定義された視点のみを用い、スケッチと視点の両方の深層特徴を2つのシamese畳み込みニューラルネットワーク（CNN）を用いて学習する。本手法は、統合損失関数を通じてクロスドメイン類似度を学習することにより、3つのベンチマークデータセットにおいて最先端の手法を顕著に上回り、すべての指標で精度、再現率、mAPの観点から優れた性能を達成する。

ABSTRACT

Retrieving 3D models from 2D human sketches has received considerable attention in the areas of graphics, image retrieval, and computer vision. Almost always in state of the art approaches a large amount of "best views" are computed for 3D models, with the hope that the query sketch matches one of these 2D projections of 3D models using predefined features. We argue that this two stage approach (view selection -- matching) is pragmatic but also problematic because the "best views" are subjective and ambiguous, which makes the matching inputs obscure. This imprecise nature of matching further makes it challenging to choose features manually. Instead of relying on the elusive concept of "best views" and the hand-crafted features, we propose to define our views using a minimalism approach and learn features for both sketches and views. Specifically, we drastically reduce the number of views to only two predefined directions for the whole dataset. Then, we learn two Siamese Convolutional Neural Networks (CNNs), one for the views and one for the sketches. The loss function is defined on the within-domain as well as the cross-domain similarities. Our experiments on three benchmark datasets demonstrate that our method is significantly better than state of the art approaches, and outperforms them in all conventional metrics.

研究の動機と目的

• スケッチベース3次元形状検索における「最良視点」選択の不安定さと主観性を解消すること。
• スケッチと3次元モデルの視点の両方に対して、判別性の高い表現を学習することで、手作業による特徴抽出に依存しないこと。
• 2次元スケッチと3次元モデルの投影間のクロスドメインマッチングを、統合的な特徴学習と類似度の整合性によって向上させること。
• 最小限の視点選択（2方向のみ）が、深層特徴学習と組み合わせることで、複雑なマルチビュー戦略を上回ることを示すこと。
• ドメイン固有のアーキテクチャを備えたシamese CNNがクロスドメイン形状検索に有効であることを検証すること。

提案手法

• 3次元モデル1つあたり2つの固定された、顕著に異なる視点を用い、上向きの姿勢を仮定することで、複雑な「最良視点」選択プロセスを置き換える。
• ドメイン固有のアーキテクチャを持つ2つの別個のシamese CNN（スケッチ用と3次元モデル視点用）を採用し、内在的な違いを捉える。
• 同じドメイン内（スケッチ-スケッチ、視点-視点）の類似度とクロスドメイン類似度（スケッチ-視点）を高めるように、統合損失関数を定義する。
• ユークリッド距離が直接類似度を測ることができる共通の埋め込み空間で、共有された特徴表現を学習する。
• 弱い教師信号を用いてエンドツーエンドでネットワークを訓練し、推論時にはペairedスケッチ-視点アノテーションが不要である。
• 計算コストの低減と任意の視点選択への過学習を回避するため、ミニマリズムアプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 主観的で曖昧な「最良視点」選択ステップを排除することで、スケッチベース3次元形状検索の性能を向上させることができるか？
• RQ2 シamese CNNによる深層特徴学習が、スケッチと3次元モデルの投影をマッチングさせる際に、手作業による特徴抽出を上回ることができるか？
• RQ3 3次元モデル1つあたり2つの固定視点のみを用いても、学習済み特徴と組み合わせることで、依然として効果的な検索が可能か？
• RQ4 ドメイン内とクロスドメインの類似度を統合的に整合させる損失関数が、より良い一般化性能と検索性能をもたらすか？
• RQ5 提案手法の性能は、複数のベンチマークデータセットにおいて、最先端の手法と比較してどのように差がつくか？

主な発見

• SHREC’13ベンチマークでは、平均平均精度（mAP）が0.469を達成し、2番目に良い手法（0.434）および表3に記載された他のすべての手法を顕著に上回った。
• SHREC’13において、低再現率領域で最先端手法よりも10%の性能向上を示し、再現率が上昇するに従っても精度の低下が著しく緩やかであるため、優れた安定性を示した。
• SHREC’14ではmAPが0.228を達成し、次に良い手法（0.131）を75%上回り、データセットをまたいで一貫した優位性を示した。
• ドメイン内スケッチ検索ではmAPが0.373を達成し、スケッチの不一致が依然として大きな課題であるが、モデルが意味のある表現を学習していることが示された。
• ドメイン内視点検索ではmAPが0.909を達成し、学習済み特徴が視点ベース検索に非常に効果的であることを示し、モデルの頑健性を裏付けた。
• アブレーションスタディの結果、両ドメインに同一のシameseネットワークを用いる場合、提案されたドメイン固有のアーキテクチャに比べて性能が劣ることを示し、各ドメインごとの別個の特徴学習の必要性を検証した。