[論文レビュー] Take-A-Photo: 3D-to-2D Generative Pre-training of Point Cloud Models

Ziyi Wang, Xumin Yu+3 more|arXiv (Cornell University)|Jul 27, 2023

3D Shape Modeling and AnalysisEngineering被引用数 3

ひとこと要約

本稿では、3次元点群モデルの幾何的およびステレオスコピック理解を向上させるために、カメラポーズを指示した条件下でクロスアテンション機構を用いて視覚画像を生成する、3次元から2次元への生成的事前学習手法TAPを提案する。点群再構成に依存する間接的な損失ではなく、正確な2次元画像の教師信号を活用することで、TAPは、事前学習済みの視覚的または言語的モデルを用いずに、ScanObjectNNおよびShapeNetPartで最先端の性能を達成する。

ABSTRACT

With the overwhelming trend of mask image modeling led by MAE, generative pre-training has shown a remarkable potential to boost the performance of fundamental models in 2D vision. However, in 3D vision, the over-reliance on Transformer-based backbones and the unordered nature of point clouds have restricted the further development of generative pre-training. In this paper, we propose a novel 3D-to-2D generative pre-training method that is adaptable to any point cloud model. We propose to generate view images from different instructed poses via the cross-attention mechanism as the pre-training scheme. Generating view images has more precise supervision than its point cloud counterpart, thus assisting 3D backbones to have a finer comprehension of the geometrical structure and stereoscopic relations of the point cloud. Experimental results have proved the superiority of our proposed 3D-to-2D generative pre-training over previous pre-training methods. Our method is also effective in boosting the performance of architecture-oriented approaches, achieving state-of-the-art performance when fine-tuning on ScanObjectNN classification and ShapeNetPart segmentation tasks. Code is available at https://github.com/wangzy22/TAP.

研究の動機と目的

• 3次元生成的事前学習における精度の低い教師信号の欠如、特にChamfer距離のような不正確な点群再構成損失に依存する傾向を是正すること。
• 従来の手法がトランスフォーマーベースのバックボーンに限定されており、多様な点群アーキテクチャへの適応性に欠けるという制限を克服すること。
• より情報豊かな画像ベースの教師信号を用いることで、3次元バックボーンモデルの幾何的構造およびステレオ的関係の理解を向上させること。
• 特定のアーキテクチャに制限されない、あらゆる点群モデルと互換性のある柔軟な事前学習フレームワークの開発

提案手法

• ポーズ依存のフォトグラフモジュールは、クロスアテンションを用いてカメラポーズの条件を3次元特徴にエンコードし、それらを2次元視覚画像特徴に変換する。
• 2次元ジェネレータは、こうしたポーズ条件付き特徴をデコードして視覚画像を生成し、合成データからレンダリングされた真値画像によって教師される。
• クエリジェネレータは、光線の物理的定式化を用い、原点座標、正規化された方向ベクトル、および位置埋め込みを用いてクロスアテンション用のクエリを生成する。
• 明示的な投影を避けることで、クロスアテンション層が3次元から2次元への特徴再配置をエンドツーエンドで学習し、表現学習を向上させる。
• 可変サイズの特徴グリッドに対応するため、パッドトークンを用いたメモリビルダが導入され、学習の安定性と性能が向上する。
• 事前学習パイプラインは、あらゆる点群バックボーンと互換性があり、広範なアーキテクチャへの適応が可能である。

実験結果

リサーチクエスチョン

• RQ1 画像ベースの教師信号を用いた3次元から2次元への生成的事前学習は、点群再構成に依存する手法よりも、3次元点群表現学習をより効果的に改善できるか？
• RQ2 数学的に導出されたクエリを用いたポーズ条件付きクロスアテンションは、3次元モデルにおける幾何的および空間的理解を向上させるか？
• RQ3 2次元画像生成を目的とした事前学習手法を、任意の点群バックボーンと効果的に統合できるか？
• RQ4 提案手法は、下流の3次元ビジョンタスクにおいて、最先端のアーキテクチャベースのモデルと比較してどのように性能を発揮するか？

主な発見

• TAPは、点群分類ベンチマークであるScanObjectNNで最先端の性能を達成し、トランスフォーマーベースの生成的事前学習手法を上回った。
• PointMLPをバックボーンとして用いた場合、TAPはScanObjectNNで88.5%の精度を達成し、事前学習済みの画像またはテキストモデルを一切使用しない先行手法を上回った。
• ShapeNetPartの部品セグメンテーションタスクにおいて、外部の視覚的または言語的事前学習を用いない手法の中で、TAPは最先端の結果を達成した。
• アブレーションスタディの結果、フォトグラフモジュール内のクロスアテンション機構が不可欠であり、直接投影や自己アテンションのベースラインを上回った。
• クエリの数学的定式化（原点座標、方向ベクトル、位置埋め込み）が重要であることが確認され、各成分が性能向上に顕著な寄与を示した。
• メモリビルダにパッドトークンを組み込むことで一般化性能が向上し、クロスアテンション層を増やすことで性能が向上するが、過学習を避けるためにある限界までに留まる。