[論文レビュー] Can We Solve 3D Vision Tasks Starting from A 2D Vision Transformer?

Yi Wang, Zhiwen Fan+3 more|arXiv (Cornell University)|Sep 15, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

本論文では、標準的な2D ViTを3Dビジョンタスクに適応させるために、パッチおよび位置埋め込みを拡張し、ヘッド層を変更するMinimalistな3DビジョンTransformer、Simple3D-Formerを提案する。アーキテクチャの再設計なしに、3D分類、セグメンテーション、検出の各タスクで優れた性能を達成する。事前学習済みの2D ViT重みが、特に低データ環境下で3D一般化性能を顕著に向上させることを示し、強力で再利用可能なベースラインを確立する。

ABSTRACT

Vision Transformers (ViTs) have proven to be effective, in solving 2D image understanding tasks by training over large-scale image datasets; and meanwhile as a somehow separate track, in modeling the 3D visual world too such as voxels or point clouds. However, with the growing hope that transformers can become the "universal" modeling tool for heterogeneous data, ViTs for 2D and 3D tasks have so far adopted vastly different architecture designs that are hardly transferable. That invites an (over-)ambitious question: can we close the gap between the 2D and 3D ViT architectures? As a piloting study, this paper demonstrates the appealing promise to understand the 3D visual world, using a standard 2D ViT architecture, with only minimal customization at the input and output levels without redesigning the pipeline. To build a 3D ViT from its 2D sibling, we "inflate" the patch embedding and token sequence, accompanied with new positional encoding mechanisms designed to match the 3D data geometry. The resultant "minimalist" 3D ViT, named Simple3D-Former, performs surprisingly robustly on popular 3D tasks such as object classification, point cloud segmentation and indoor scene detection, compared to highly customized 3D-specific designs. It can hence act as a strong baseline for new 3D ViTs. Moreover, we note that pursing a unified 2D-3D ViT design has practical relevance besides just scientific curiosity. Specifically, we demonstrate that Simple3D-Former naturally enables to exploit the wealth of pre-trained weights from large-scale realistic 2D images (e.g., ImageNet), which can be plugged in to enhancing the 3D task performance "for free".

研究の動機と目的

• 標準的な2DビジョンTransformerが、最小限のアーキテクチャ的変更で3Dビジョンタスクに適応可能かどうかを調査すること。
• 事前学習済みの2D ViT重みを3Dタスクに転移させることで、一般化性能が向上するかを評価すること。
• 2Dと3Dの両方のビジョンタスクに適用可能な統一された2D-3D ViTフレームワークを構築すること。
• カスタマイズされた3D固有のモデルに匹敵またはそれを上回る性能を達成できる、シンプルで非カスタムのトランスフォーマーが実現可能かどうかを示すこと。
• 2Dおよび3Dビジョンタスクに共通のトランスフォーマーバックボーンを用いることの可能性を検討し、共通の事前学習を実現すること。

提案手法

• 3Dボクセルまたはポイントクラウドデータを処理するために、2Dパッチ埋め込み層を3Dパッチとして2Dに類似したトークンとして扱うことで拡張する。
• 3D空間的次元全体にわたり幾何的構造を保持する3Dに適応した位置エンコーディングを設計する。
• オブジェクト分類、セグメンテーション、検出などのタスクに特化した3D固有の分類ヘッドに置き換える。
• 事前学習済みの2D ViT ImageNet重みを初期化に用い、3Dモデルに事前知識を注入する。
• 2D一般化性能を維持しながら3Dデータで微調整する際、教師ViTからの知識蒸留を適用する。
• クロスエントロピー損失と蒸留損失の両方を用いてエンドツーエンドで学習し、低データ条件でも性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 標準的な2DビジョンTransformerが、最小限のアーキテクチャ的変更で3Dビジョンタスクに効果的に適応可能かどうか。
• RQ2 大規模な2Dデータ（例：ImageNet）での事前学習が、3Dビジョン性能にどの程度向上効果をもたらすか。
• RQ3 2D教師ViTからの知識蒸留が、特に低データ環境下で3D一般化性能を向上させるか。
• RQ4 共通の事前学習を用いて、統一されたトランスフォーマーバックボーンが2Dおよび3Dビジョンタスクの両方に適用可能かどうか。
• RQ5 最小限のアーキテクチャの3D ViTの性能が、高度にカスタマイズされた3D固有のアーキテクチャと比べてどうなるか。

主な発見

• Simple3D-Formerは、3Dオブジェクト分類において競争力ある性能を達成し、ModelNet40では84.5%、ShapeNet Part Segmentationでは83.1%の精度を記録。2D事前学習を含まないベースラインモデルを上回る。
• SUN RGB-D 3D検出ベンチマークでは、57.6%のmAP@25および32.0%のmAP@50を達成。3DETRやH3DNetと同等の性能を示し、アーキテクチャの変更が最小限であるにもかかわらず。
• 2D事前学習の導入により、ModelNet40で0.7%、ShapeNet Part Segmentationで1.5%の性能向上が確認され、2Dの事前知識の価値が示された。
• 2D教師ViTからの知識蒸留を組み合わせることで、ModelNet40での精度が88.0%に向上。これは、記憶の喪失が抑制され、一般化性能が向上していることを示している。
• 低データ環境（学習データの25%）下でも、2D事前学習によりShapeNetの3D部分セグメンテーションmIoUが最大1.6%向上。高いデータ効率性が示された。
• アブレーションスタディにより、両方の手法（事前学習と蒸留）が最適な性能を発揮するために不可欠であることが確認され、両方を適用した場合にModelNet40で最高の88.0%の精度が達成された。