[論文レビュー] View Inter-Prediction GAN: Unsupervised Representation Learning for 3D Shapes by Learning Global Shape Memories to Support Local View Predictions

Zhizhong Han, Mingyang Shang+2 more|arXiv (Cornell University)|Nov 7, 2018

3D Shape Modeling and Analysis参考文献 14被引用数 9

ひとこと要約

本論文は、周囲のビューから中央ビューを予測し、共有の形状固有のグローバルメモリを介して入力を再構築することで、教師なし3次元形状表現学習を行うためのRNNベースのアーキテクチャを有するView Inter-Prediction GAN (VIP-GAN)を提案する。本手法は、敵対的訓練とマルチビュー配列にわたる暗黙の特徴集約を活用することで、大規模ベンチマークにおいて3次元形状分類および検索タスクで最先端の性能を達成する。

ABSTRACT

In this paper we present a novel unsupervised representation learning approach for 3D shapes, which is an important research challenge as it avoids the manual effort required for collecting supervised data. Our method trains an RNN-based neural network architecture to solve multiple view inter-prediction tasks for each shape. Given several nearby views of a shape, we define view inter-prediction as the task of predicting the center view between the input views, and reconstructing the input views in a low-level feature space. The key idea of our approach is to implement the shape representation as a shape-specific global memory that is shared between all local view inter-predictions for each shape. Intuitively, this memory enables the system to aggregate information that is useful to better solve the view inter-prediction tasks for each shape, and to leverage the memory as a view-independent shape representation. Our approach obtains the best results using a combination of L_2 and adversarial losses for the view inter-prediction task. We show that VIP-GAN outperforms state-of-the-art methods in unsupervised 3D feature learning on three large scale 3D shape benchmarks.

研究の動機と目的

• 手作業による高コストなアノテーションが不要な教師なし3次元形状表現学習の課題に対処すること。
• マルチビューの文脈から微細な「教師あり」信号を抽出することで、特徴の判別性を向上させること。
• 局所的なビュー予測にわたる暗黙の集約により、ビューに依存しないグローバルな形状表現を構築すること。
• 標準的な3次元ベンチマークにおいて、既存の教師なしおよび一部の教師あり手法を上回る性能を発揮すること。

提案手法

• VIP-GANは、隣接するビューから中央ビューを予測し、低レベルの特徴空間で隣接ビューを再構築するRNNベースのエンコーダデコーダジェネレータを用いる。
• すべての局所的ビュー間予測タスクを支援するため、共有で形状固有のグローバルメモリが学習され、ビューに依存しない特徴集約が可能になる。
• ジェネレータは敵対的損失を用いてディスクラミネーターと同時に訓練され、予測ビューの現実性と特徴品質が向上する。
• ビュー間予測および再構築タスクの最適化に、L2損失と敵対的損失の両方を採用する。
• ビューのシーケンスを重複するセグメントに分割することで、1形状あたり複数の局所的予測タスクを可能にする。
• グローバルメモリは複数の局所的予測からの知識を暗黙的に集約し、強固で判別性の高い形状表現を形成する。

実験結果

リサーチクエスチョン

• RQ1 共有のグローバルメモリを用いた局所的ビュー間予測タスクは、教師なし3次元特徴学習を改善できるか？
• RQ2 敵対的訓練の統合は、教師なし3次元特徴の判別性をどのように向上させるか？
• RQ3 複数の局所的予測からの暗黙の集約は、マルチビュー3次元表現学習においてグローバルプーリングをどれほど上回るか？
• RQ4 視覚的依存性のパターンを人間の認知に模倣することは、3次元形状分類および検索における一般化性を向上させるか？
• RQ5 標準的な3次元ベンチマークにおいて、VIP-GANは最先端の教師ありおよび教師なし手法と比較してどうなるか？

主な発見

• ShapeNetCore55では、VIP-GANが83.6のマイクロ平均mAPを達成し、比較されたすべての教師なしおよび教師あり手法を上回った。
• ModelNet40では、分類精度が82.97%に達し、他のすべての教師なし手法を上回り、いくつかの教師ありベースラインと同等または上回った。
• ShapeNetCore55では、マイクロ平均指標下でmAPが89.5、NDCGが89.5の検索性能を発揮した。
• アブレーションスタディにより、L2損失と敵対的損失を併用することで最良の性能が得られ、グローバルメモリが予測精度を顕著に向上させた。
• 共有のグローバルメモリを用いることで、グローバルプーリングや独立したビュー処理に依存する手法よりも、より判別性の高い特徴が得られた。
• VIP-GANの性能は、さまざまな指標およびベンチマークにわたり安定しており、分類および検索タスクにおける強力な一般化能力を示した。