[論文レビュー] Deep Learning Representation using Autoencoder for 3D Shape Retrieval

Zhuotun Zhu, Xinggang Wang+3 more|arXiv (Cornell University)|Sep 25, 2014

3D Shape Modeling and Analysis参考文献 18被引用数 8

ひとこと要約

本稿では、3次元形状を2次元深度画像に投影し、自己符号化器を用いてグローバルで判別性の高い特徴を学習する、深層学習に基づく新しい3次元形状検索手法を提案する。この手法は、グローバルな深層特徴と局所的なSIFT記述子を組み合わせることで、PSBやESBといったベンチマークデータセット上で最先端の性能を達成している。

ABSTRACT

We study the problem of how to build a deep learning representation for 3D shape. Deep learning has shown to be very effective in variety of visual applications, such as image classification and object detection. However, it has not been successfully applied to 3D shape recognition. This is because 3D shape has complex structure in 3D space and there are limited number of 3D shapes for feature learning. To address these problems, we project 3D shapes into 2D space and use autoencoder for feature learning on the 2D images. High accuracy 3D shape retrieval performance is obtained by aggregating the features learned on 2D images. In addition, we show the proposed deep learning feature is complementary to conventional local image descriptors. By combing the global deep learning representation and the local descriptor representation, our method can obtain the state-of-the-art performance on 3D shape retrieval benchmarks.

研究の動機と目的

• 3次元形状認識のための深層学習モデルを訓練する際の、3次元形状データの限界と複雑な3次元構造の課題に対処すること。
• 2次元深度画像上で訓練された自己符号化器を用いて、3次元形状のための堅牢で教師なしの深層表現を開発すること。
• グローバルな深層特徴と局所的な手作業による記述子を組み合わせることで、3次元形状検索のパフォーマンスを向上させること。
• 深層グローバル特徴と局所記述子の相補性が、検索精度の向上に寄与することを示すこと。

提案手法

• 複数の視点から3次元形状を2次元深度画像に投影し、ビューに基づく表現を構築する。
• 2次元深度画像上で深層自己符号化器を訓練し、教師なしの方法でコンパクトで階層的な特徴表現を学習する。
• 自己符号化器の学習済みコード層（ボトルネック表現）を、3次元形状照合のためのグローバルな深層特徴として使用する。
• 検索タスクにおける類似度測定に、コードベクトル間のL2距離（p=2）を適用する。
• 線形統合により、自己符号化器のグローバル特徴とBoF-SIFT特徆を統合してパフォーマンスを向上させる。
• プリンストン形状ベンチマーク（PSB）およびエンジニアリング形状ベンチマーク（ESB）で、標準的な評価指標（NN、First-Tier、Second-Tier）を用いる。

実験結果

リサーチクエスチョン

• RQ1 自己符号化器は、2次元深度画像から3次元形状検索のための判別性の高いグローバル特徴を効果的に学習できるか？
• RQ2 既存のグローバル形状記述子と比較して、自己符号化器に基づく特徴は、標準的な3次元検索ベンチマークでどの程度の性能を示すか？
• RQ3 深層グローバル特徴は、SIFTのような局所記述子とどの程度相補的か？3次元形状検索における性能向上に寄与するか？
• RQ4 自己符号化器特徴とBoF-SIFTを統合したハイブリッドモデルは、最先端のパフォーマンスを達成できるか？

主な発見

• 自己符号化器ベースの手法は、プリンストン形状ベンチマーク（PSB）で72.4%の最近傍（NN）正答率を達成し、他のすべてのグローバル記述子を上回った。
• エンジニアリング形状ベンチマーク（ESB）では、自己符号化器が85.7%のNN正答率を達成し、Hybrid や DESIRE を含む既存のグローバル手法を上回った。
• 自己符号化器はBoF-SIFTと強い相補性を示した：ハイブリッド手法はPSBで77.5%のNN、52.4%のFirst-Tier、65.4%のSecond-Tierを達成し、以前の最先端を上回った。
• First-TierおよびSecond-Tier性能が7ポイント以上向上したことは、グローバルな深層特徴と局所記述子を統合することで有効であることを確認した。
• 訓練プロトコルの違いにもかかわらず、PSBおよびESBの両データセットで一貫した性能向上を示し、本手法の堅牢性を裏付けた。
• 結果から、自己符号化器は2次元投影から意味的で転送可能な特徴を学習できることを検証した。これにより、教師なしの条件下でも効果的な3次元形状表現が可能となった。