[論文レビュー] Self-Supervised Multi-View Learning via Auto-Encoding 3D Transformations

Xiang Gao, Wei Hu+1 more|arXiv (Cornell University)|Mar 1, 2021

3D Shape Modeling and Analysis参考文献 60被引用数 6

ひとこと要約

本稿では、3次元変換の自己符号化を、変換前の後での複数の2次元ビューから行う自己教師あり手法であるMulti-View Transformation Equivariant Representations (MV-TER)を提案する。視点間での等変性を強制することにより、最小限のラベル付きデータで3次元物体分類および検索において最先端の性能を達成する。

ABSTRACT

3D object representation learning is a fundamental challenge in computer vision to infer about the 3D world. Recent advances in deep learning have shown their efficiency in 3D object recognition, among which view-based methods have performed best so far. However, feature learning of multiple views in existing methods is mostly performed in a supervised fashion, which often requires a large amount of data labels with high costs. In contrast, self-supervised learning aims to learn multi-view feature representations without involving labeled data. To this end, we propose a novel self-supervised paradigm to learn Multi-View Transformation Equivariant Representations (MV-TER), exploring the equivariant transformations of a 3D object and its projected multiple views. Specifically, we perform a 3D transformation on a 3D object, and obtain multiple views before and after the transformation via projection. Then, we self-train a representation to capture the intrinsic 3D object representation by decoding 3D transformation parameters from the fused feature representations of multiple views before and after the transformation. Experimental results demonstrate that the proposed MV-TER significantly outperforms the state-of-the-art view-based approaches in 3D object classification and retrieval tasks, and show the generalization to real-world datasets.

研究の動機と目的

• 大規模なラベル付きデータに依存する supervised 3D表現学習の高コストを軽減すること。
• 複数の2次元ビューにおける3次元物体変換の等変性を活用して自己教師あり特徴学習を実現すること。
• 統合された複数ビュー特徴から3次元変換パラメータを再構成することで、3次元物体の内在的表現を学習すること。
• 実世界および合成データセットにおける3次元表現学習の一般化性能とロバスト性を向上させること。

提案手法

• 3次元オブジェクト（点群またはメッシュ）に3次元変換（例：回転、平行移動）を適用し、変換前後それぞれを複数の固定された2次元ビューに投影する。
• 元の変換前後2つの2次元ビューを共有バックボーンネットワークに供給し、複数ビュー特徴表現を抽出する。
• 変換前後における全ビューからの特徴表現を要素ごとの連結またはアテンションベースの集約により統合する。
• 再構成損失として平均二乗誤差損を用い、デコーダーヘッドにより3次元変換パラメータを予測する。
• 再構成損失を自己教師的正則化子として用い、表現学習と変換再構成をエンドツーエンドで同時に最適化する。
• 分類などの下流タスク損失とMV-TER損失を統合し、共同学習を行う。

実験結果

リサーチクエスチョン

• RQ1 複数の2次元ビューにおける3次元変換の等変性を活用することで、強力な自己教師あり3次元表現を学習できるか？
• RQ2 3次元変換前後の複数ビュー特徴の統合は、単一ビューまたは独立したビュー学習と比較して、どのように3次元表現学習を向上させるか？
• RQ3 MV-TERは、RGB-D や ETH-80 のような実世界の複数ビューデータセットにどの程度一般化可能か？
• RQ4 精度およびロバスト性の観点から、本手法は最先端のビューベース3次元学習モデルと比較してどのように差をつけるか？

主な発見

• 3次元物体分類タスクにおいて、ModelNet40で95.00±6.12%の精度を達成し、先行するビューベース手法を顕著に上回った。
• 実世界のRGB-Dデータセットでは、MVCNN より2.05%、GVCNN より2.97%の分類精度向上を達成した。
• ETH-80データセットでは、MVCNN より1.88%、GVCNN より1.25%の精度向上を達成した。
• 変換推定誤差は急速に収束し、60エポック目には平均二乗誤差がほぼゼロにまで低下した。
• 対応するビューからの特徴マップは等変性を示しており、モデルが一貫性があり変換に敏感な表現を学習していることを確認した。
• 平均デコーディング方式は個々のビュー予測よりもより正確な3次元変換推定を達成しており、統合戦略の有効性を裏付けた。