[論文レビュー] 3D Vision with Transformers: A Survey

Jean Lahoud, Jiale Cao+5 more|arXiv (Cornell University)|Aug 8, 2022

Advanced Neural Network Applications被引用数 9

ひとこと要約

本サーベイは、分類、セグメンテーション、検出、補完、ポーズ推定を含む、3Dビジョンタスクの100以上のトランスフォーマー基盤手法について包括的なレビューを提供している。点群、ボクセル、RGB-Dといった多様な3D表現に特化したトランスフォーマー・アーキテクチャを分析し、長距離依存関係を捉える能力と、12のベンチマークで最先端の性能を達成していることを示している。一方で、設計、サンプリング、位置符号化、事前学習に関する未解決の課題も特定している。

ABSTRACT

The success of the transformer architecture in natural language processing has recently triggered attention in the computer vision field. The transformer has been used as a replacement for the widely used convolution operators, due to its ability to learn long-range dependencies. This replacement was proven to be successful in numerous tasks, in which several state-of-the-art methods rely on transformers for better learning. In computer vision, the 3D field has also witnessed an increase in employing the transformer for 3D convolution neural networks and multi-layer perceptron networks. Although a number of surveys have focused on transformers in vision in general, 3D vision requires special attention due to the difference in data representation and processing when compared to 2D vision. In this work, we present a systematic and thorough review of more than 100 transformers methods for different 3D vision tasks, including classification, segmentation, detection, completion, pose estimation, and others. We discuss transformer design in 3D vision, which allows it to process data with various 3D representations. For each application, we highlight key properties and contributions of proposed transformer-based methods. To assess the competitiveness of these methods, we compare their performance to common non-transformer methods on 12 3D benchmarks. We conclude the survey by discussing different open directions and challenges for transformers in 3D vision. In addition to the presented papers, we aim to frequently update the latest relevant papers along with their corresponding implementations at: https://github.com/lahoud/3d-vision-transformers.

研究の動機と目的

• 分類、セグメンテーション、検出、補完、ポーズ推定を含む、100以上のトランスフォーマー基盤3Dビジョン手法について、体系的かつ包括的なレビューを提供すること。
• 点群、ボクセル、RGB-D入力を含む多様な3Dデータ表現の処理に効果的であることを可能にする、トランスフォーマー設計の選択肢を分析すること。
• 12の広く使われている3Dビジョンベンチマークにおいて、トランスフォーマー基盤手法と非トランスフォーマー基盤手法の性能を比較し、その競争力の程度を評価すること。
• 3Dビジョン用トランスフォーマーにおける未解決の課題、特に入力のサンプリング戦略、位置符号化、データ拡張、事前学習に関する課題を特定し、議論すること。
• https://github.com/lahoud/3d-vision-transformers にて、関連論文と実装の動的かつ最新のリポジトリを維持すること。

提案手法

• 本サーベイは、タスクおよび3D入力表現（点群、ボクセル、RGB-D）に基づいて分類された、100以上のトランスフォーマー基盤3Dビジョン手法について、体系的な文献レビューを実施している。
• 3Dデータ向けのトランスフォーマー設計におけるアーキテクチャ的選択肢を分析し、3D空間的構造に適応した自己注意機構と、入力サイズの変動に柔軟に対応する設計に焦点を当てる。
• MPJPE、PCK、AUC、mIoUといった指標を用いて、12の標準的3Dベンチマークで手法を評価し、トランスフォーマー基盤モデルと非トランスフォーマー対象との性能を比較している。
• 3D空間における位置埋め込みの役割を議論し、形状理解や3D空間における並進不変性の観点からその重要性を強調している。
• データのサンプリング戦略を検討し、構造的・意味的情報を保持する観点から、データ駆動型で柔軟なサンプリングを提唱している。
• 3D固有のデータ拡張および事前学習技術の使用を評価し、現在の3Dトランスフォーマー手法においてそれらが十分に活用されていないことを強調している。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤アーキテクチャは、従来のCNNやMLPと比較して、3Dビジョンタスクの性能をどのように向上させるのか？
• RQ2 点群やボクセルといった多様な3Dデータ表現を効果的に処理できるようにする、トランスフォーマー設計の鍵となる原則は何か？
• RQ3 位置埋め込みと注意機構は3D空間での学習にどのように寄与するのか？また、現在のアプローチにおける制限は何か？
• RQ4 トランスフォーマー向けに3D入力をサンプリングする際の主な課題は何か？データ駆動型戦略は特徴学習をどのように改善できるか？
• RQ5 事前学習と3D固有のデータ拡張は、3Dビジョン用トランスフォーマーの性能をどの程度向上させられるか？

主な発見

• トランスフォーマー基盤手法は、12の3Dベンチマークにおいて、長距離依存関係のモデル化を必要とするタスクで、非トランスフォーマー基盤手法を一貫して上回っている。
• MixSTEは、Human3.6Mデータセットにおけるプロトコル1およびプロトコル2の両方で、平均MPJPEが42.4および33.9を達成し、時間的・空間的トランスフォーマーの二重設計のおかげである。
• P-STMOはMPI-INF-3DHPデータセットでPCK（97.9）とAUC（75.8）の最高値を記録し、3Dポーズ推定における自己教師あり事前学習の有効性を示している。
• 多くのトランスフォーマー基盤3D手法は、固定サイズの入力サンプリングに依存しており、細部の構造的情報を損なうリスクがあり、シーンのサイズに依存する。
• 2Dビジョンとは異なり、3Dビジョン用トランスフォーマーでは大規模な事前学習が不足しており、ImageNet風の事前学習が性能を著しく向上させることが2Dでは確認されている。
• 本サーベイでは、局所的詳細とグローバルコンテキストの両方の学習をバランスよく行える汎用的3Dトランスフォーマーベースを設計する必要性を特定している。これには、柔軟でデータ駆動型のサンプリングと、頑健な位置符号化が不可欠である。