[論文レビュー] Multimodal Semi-Supervised Learning for 3D Objects

Zhi‐Min Chen, Longlong Jing+3 more|arXiv (Cornell University)|Oct 22, 2021

3D Shape Modeling and Analysis参考文献 56被引用数 10

ひとこと要約

本稿では、インスタンスレベルの一貫性とマルチモーダル対照プロトタイプ（M2CP）損失を活用することで、データ効率を向上させる、3Dオブジェクト分類およびリtrievalのための新規なマルチモーダル半教師あり学習フレームワークを提案する。点群、メッシュ、画像の間で同一の3Dオブジェクトに対して一貫した表現を強制し、クラスプロトタイプを用いてクラス内特徴の分散を最小化することで、ラベル付きデータが著しく少ない状況でもModelNet10およびModelNet40でSOTA性能を達成した。

ABSTRACT

In recent years, semi-supervised learning has been widely explored and shows excellent data efficiency for 2D data. There is an emerging need to improve data efficiency for 3D tasks due to the scarcity of labeled 3D data. This paper explores how the coherence of different modelities of 3D data (e.g. point cloud, image, and mesh) can be used to improve data efficiency for both 3D classification and retrieval tasks. We propose a novel multimodal semi-supervised learning framework by introducing instance-level consistency constraint and a novel multimodal contrastive prototype (M2CP) loss. The instance-level consistency enforces the network to generate consistent representations for multimodal data of the same object regardless of its modality. The M2CP maintains a multimodal prototype for each class and learns features with small intra-class variations by minimizing the feature distance of each object to its prototype while maximizing the distance to the others. Our proposed framework significantly outperforms all the state-of-the-art counterparts for both classification and retrieval tasks by a large margin on the modelNet10 and ModelNet40 datasets.

研究の動機と目的

• 3Dデータのラベルが不足する問題に対処し、3Dオブジェクト学習におけるデータ効率を向上させること。
• 点群、メッシュ、画像の間のクロスモーダル整合性を活用して、半教師あり3D表現学習を実現すること。
• 複数モダリティ間で一貫性とクラスレベルの特徴の凝縮を同時に最適化する統合フレームワークを構築すること。
• 限られた監視情報のもとで、標準的な3Dベンチマークにおいて既存の2Dおよび3D半教師あり手法を上回ること。

提案手法

• 同じ3Dオブジェクトに対して、点群、画像、メッシュなどの異なるモダリティ間で一貫した表現を生成するように制約を課すインスタンスレベルの一貫性制約を導入する。
• 1クラスあたりの共有プロトタイプを維持し、クラス内特徴距離を最小化するとともにクラス間距離を最大化するマルチモーダル対照プロトタイプ（M2CP）損失を提案する。
• 未ラベルデータの特徴を複数モダリティから統合するためにEnsembled-MLPを用い、より信頼性の高い偽ラベルを生成することで学習を支援する。
• M2CP損失と標準的な交差エントロピー損失、インスタンスレベルの一貫性損失を組み合わせ、特徴学習と予測の一貫性を同時に最適化する。
• 回転やノイズなどの標準的なデータオーグメンテーション戦略を入力モダリティに適用し、摂動に強い一貫性と耐性を向上させる。
• M2CP損失および一貫性損失がラベルなし状況下での特徴学習をガイドするように、ラベル付きデータと未ラベル付きデータの両方を用いてモデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 3D点群、メッシュ、画像間のクロスモーダル整合性は、半教師あり3D学習の向上に有効に活用できるか？
• RQ2 複数モダリティ間でインスタンスレベルの一貫性を強制することで、3D分類およびリtrievalの一般化性能が向上するか？
• RQ3 マルチモーダル対照プロトタイプ損失は、3D表現学習におけるクラス内分散を低減し、特徴の識別性を向上させられるか？
• RQ4 利用可能なモダリティ数が、半教師あり3D学習設定における性能に与える影響は何か？

主な発見

• 点群モダリティを用いて、ラベル付きデータがたった2%の状況でもModelNet40で79.86%の精度を達成し、Info3Dを約9ポイント上回った。
• 10%のラベル付きデータを用いた場合、画像モダリティで91.61%の精度に達し、FixMatch（89.02%）およびDeep Co-training（89.00%）を2.5ポイント以上上回った。
• M2CP損失単体でも、ベースライン手法に比べて3.5–4.5%の性能向上を示し、クラス内分散の低減効果が明確に示された。
• アブレーションスタディにより、交差エントロピー損失、インスタンスレベルの一貫性損失、M2CP損失の3つが相補的かつ最適性能を達成するために不可欠であることが確認された。
• より多くのモダリティが利用可能になると性能が一貫して向上し、3モダリティ統合のフルセットが分類およびリtrievalの両タスクで最高の結果を達成した。
• すべての設定において、最先端の2Dおよび3D半教師あり手法を著しく上回り、3D表現学習におけるマルチモーダル一貫性の価値を実証した。