[論文レビュー] Self-supervised Modal and View Invariant Feature Learning

Longlong Jing, Yucheng Chen+3 more|arXiv (Cornell University)|May 28, 2020

3D Shape Modeling and Analysis参考文献 54被引用数 12

ひとこと要約

本論文は、データモダリティ（点群、メッシュ、マルチビュー画像）および視点に対して不変な3D特徴表現を学習する自己教師付きフレームワークを提案する。対照的学習を用いてポジティブ／ネガティブペアを通じてモダリティ間およびビュー間の不変性を強制することで、異種の3D表現を共有のユニバーサル空間にマッピングし、手動のアノテーションが一切不要な状態で、強力なモダリティ間検索を可能にするとともに、3D認識、セグメンテーション、検索タスクにおいて教師あり手法と同等の性能を達成する。

ABSTRACT

Most of the existing self-supervised feature learning methods for 3D data either learn 3D features from point cloud data or from multi-view images. By exploring the inherent multi-modality attributes of 3D objects, in this paper, we propose to jointly learn modal-invariant and view-invariant features from different modalities including image, point cloud, and mesh with heterogeneous networks for 3D data. In order to learn modal- and view-invariant features, we propose two types of constraints: cross-modal invariance constraint and cross-view invariant constraint. Cross-modal invariance constraint forces the network to maximum the agreement of features from different modalities for same objects, while the cross-view invariance constraint forces the network to maximum agreement of features from different views of images for same objects. The quality of learned features has been tested on different downstream tasks with three modalities of data including point cloud, multi-view images, and mesh. Furthermore, the invariance cross different modalities and views are evaluated with the cross-modal retrieval task. Extensive evaluation results demonstrate that the learned features are robust and have strong generalizability across different tasks.

研究の動機と目的

• 既存の自己教師付き3D特徴学習手法が単一モダリティ（例：点群や画像）に限定されているという制限に対処し、複数モダリティにわたる統合的学習を可能にする。
• 同一オブジェクトの異なる3D表現間で不変な特徴を学習し、異なるモダリティの3D表現間での一般化を可能にする。
• 異種の3Dデータのための共有特徴空間を学習することで、手動のアノテーションなしにモダリティ間3Dオブジェクト検索を実現する。
• 認識、セグメンテーション、少数ショット学習を含む多様な下流タスクにおける3D特徴の一般化性能とロバスト性を向上させる。

提案手法

• 同一オブジェクトの異なるモダリティ間の特徴を一致させる「モダリティ間不変性」と、同一オブジェクトの異なるビュー間の特徴を一致させる「ビュー間不変性」の2つの制約を提案する。
• ポジティブペア（同じオブジェクトの異なるモダリティ／ビュー）間の特徴距離を最小化し、ネガティブペア（異なるオブジェクト）間の距離を最大化することで、対照的学習を用いる。
• CNN（画像用）、PointNet（点群用）、メッシュネットワーク（メッシュ用）などの異種サブネットワークを用いて、モダリティ固有の特徴を抽出する。
• 対照的損失を通じて、異なるモダリティおよびビューからの特徴を統合し、エンドツーエンド学習が可能な共有埋め込み空間に変換する。
• 同一オブジェクトペアをポジティブ、異なるオブジェクトペアをネガティブとすることで、アイデンティティ不変性を自己教師信号として活用する。
• トレーニング中に同一オブジェクトの多様なビューを生成するために、回転やクロッピングなどのデータオーグメンテーションを適用し、ビュー不変性を強化する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き特徴学習が、3D表現においてモダリティおよび視点の両方に対して不変性を同時に達成できるか？
• RQ2 ラベルなしデータからのアイデンティティの自己教師信号のみを用いて、点群、メッシュ、マルチビュー画像の間で統一された特徴空間を学習できるか？
• RQ3 提案手法が、手動のアノテーションなしに効果的なモダリティ間3Dオブジェクト検索を可能にするか？
• RQ4 学習された特徴の性能は、多様な3Dビジョンタスクにおいて、教師ありおよび自己教師ありのベースラインと比較してどのように評価されるか？

主な発見

• 提案手法は、自己教師付き事前学習のみを用いてModelNet40 3Dオブジェクト認識ベンチマークで87.7%の精度を達成し、PointNet++ や DGCNN といった教師あり手法と同等の性能を示した。
• マルチビュー画像ベースの認識において、自己教師付きモデル $F_{img}$ は12ビューで87.7%の精度を達成し、最先端の自己教師あり手法XMV（87.3%）を上回り、MVCNN や DeCAF といった教師ありモデルに近い性能を示した。
• 点群ベースの認識において、モデル $F_p$ は89.3%の精度を達成し、大多数の自己教師ありベースラインを上回り、教師ありモデルの性能に近づいた。
• 本手法は、効果的なモダリティ間検索を可能にし、特に飛行機や車のようなユニークな構造を持つオブジェクトでは、定量的結果が高精度であることが示された。
• 本フレームワークは、5つの下流タスク（3Dオブジェクト認識、少数ショット認識、パーツセグメンテーション、ドメイン内検索、モダリティ間検索）において強力な一般化性能を示した。
• 著者らの知る限り、本研究は点群、メッシュ、画像の間でモダリティ間3D検索を実現した最初の自己教師付き手法である。