[論文レビュー] Towards 3D Scene Understanding by Referring Synthetic Models

Runnan Chen, Xinge Zhu+6 more|arXiv (Cornell University)|Mar 20, 2022

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

本稿では、実世界のスキャンに実際のシーンのアノテーションを一切用いずに、合成3Dモデルから実世界の3Dシーン理解へ知識を転送するためのReferring Transfer Learning (RTL) を提案する。物理的データアライメントと凸包正則化特徴アライメントを導入することで、モデル-シーンおよび合成-実世界のドメインギャップを埋め、ModelNetの合成モデルのみを用いて、ScanNetでは46.08%、S3DISでは55.49%のmAPを達成した。

ABSTRACT

Promising performance has been achieved for visual perception on the point cloud. However, the current methods typically rely on labour-extensive annotations on the scene scans. In this paper, we explore how synthetic models alleviate the real scene annotation burden, i.e., taking the labelled 3D synthetic models as reference for supervision, the neural network aims to recognize specific categories of objects on a real scene scan (without scene annotation for supervision). The problem studies how to transfer knowledge from synthetic 3D models to real 3D scenes and is named Referring Transfer Learning (RTL). The main challenge is solving the model-to-scene (from a single model to the scene) and synthetic-to-real (from synthetic model to real scene's object) gap between the synthetic model and the real scene. To this end, we propose a simple yet effective framework to perform two alignment operations. First, physical data alignment aims to make the synthetic models cover the diversity of the scene's objects with data processing techniques. Then a novel extbf{convex-hull regularized feature alignment} introduces learnable prototypes to project the point features of both synthetic models and real scenes to a unified feature space, which alleviates the domain gap. These operations ease the model-to-scene and synthetic-to-real difficulty for a network to recognize the target objects on a real unseen scene. Experiments show that our method achieves the average mAP of 46.08\% and 55.49\% on the ScanNet and S3DIS datasets by learning the synthetic models from the ModelNet dataset. Code will be publicly available.

研究の動機と目的

• 実シーンのアノテーションを用いずに、3次元シーン理解におけるアノテーション負荷を低減すること。
• 単一のモデルから学習したネットワークが、複雑で混雑したシーンに一般化する際のモデル-シーンギャップを解消すること。
• 合成モデルと実スキャンとの間の幾何的・分布的差異によって生じる合成-実世界ドメインギャップを軽減すること。
• 合成モデルから実シーンへ知識を転送することで、未観測のオブジェクトカテゴリのゼロショット認識を可能にすること。
• 下流の3次元認識タスクに効率的な知識転送を可能にする、シンプルでありながら効果的なフレームワークの開発。

提案手法

• 物理的データアライメントは、回転、スケーリング、クロッピング、およびシーン点を用いたミックスアップといったデータ拡張技術を適用し、合成モデルが現実世界のオブジェクト変動をよりよく表現できるようにする。
• 学習可能なプロトタイプを用いて特徴を統一された特徴空間に投影する、新規の凸包正則化特徴アライメントモジュールを導入し、ドメインシフトを低減する。
• 学習可能なプロトタイプは、特徴空間の基本的構造的要素として機能し、コンパクトで閉じた特徴空間を形成することで、ドメイン間での特徴分布が制約され、比較可能になるように保証する。
• 対照学習を用い、合成モデル同士を正例として、他の合成モデルを負例として用いることで、特徴の一般化を向上させる。
• Minkowski U-Netバックボーンに温度制御付きアテンションメカニズムを採用し、特徴アライメントを精緻化し、耐性を向上させる。
• 本手法は予備学習タスクとして設計されており、下流の3次元セグメンテーションタスクにおける性能向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 実際の未観測の3次元シーンにおいて、実シーンのアノテーションを一切使用せず、ラベル付きの合成3次元モデルのみを用いて、特定のオブジェクトカテゴリを認識できるか？
• RQ2 単一のオブジェクトから学習したモデルが、複雑でごみだらけのシーンに一般化する際のモデル-シーンギャップを効果的に軽減する方法は何か？
• RQ3 合成ドメインと実ドメイン間の特徴アライメントは、3次元セマンティックセグメンテーションにおける合成-実世界ドメインシフトをどの程度軽減できるか？
• RQ4 どのデータ拡張戦略が、合成モデルにおける現実世界のオブジェクト変動を最も効果的に模倣し、一般化性能を向上させられるか？
• RQ5 提案手法は、合成学習セットに存在しない未観測のオブジェクトカテゴリにも一般化可能か？

主な発見

• 提案されたRTLフレームワークは、ModelNetの合成モデルのみを用い、実シーンのアノテーションを一切使用せず、ScanNetで46.08%、S3DISで55.49%のmAPを達成した。
• 物理的データアライメントにより、ベースライン比でmAPが31.26%向上し、ランダムなスケーリングと回転が性能向上に不可欠であることが示された。
• データ拡張を除外した（noDA）場合、mAPは23.44%に低下し、ドメイン一般化のための現実的なデータ拡張の重要性が浮き彫りになった。
• 対照学習においてシーン点を負例として使用すると、mAPは23.04%に低下し、このようなアーチファクトが一般化性能を阻害することが示された。
• 凸包正則化特徴アライメントモジュールを物理的データアライメントベースラインに追加することで、mAPが約4%向上した。
• 最適なプロトタイプ数は128であり、温度ハイパーパrameter λ を0.5に設定すると最良の性能が得られた。アブレーション実験から、これらのハイパーパrameterに感受性があることが示された。