[論文レビュー] VN-Transformer: Rotation-Equivariant Attention for Vector Neurons

Serge Assaad, Carlton Downey+3 more|arXiv (Cornell University)|Jun 8, 2022

Optical measurement and interference techniques被引用数 11

ひとこと要約

VN-Transformerは、ベクターニューロンモデルにおける重い前処理に依存しない回転等変換性アテンション機構を導入し、直接的な点群入力を可能にするとともに、非空間的属性のサポートを実現する。ε-近似等変換性を用いることで、推論速度と頑健性が向上し、Waymo Open Motion Datasetにおいて平均距離誤差を27%低減した。3次元形状分類および運動予測において最先端の性能を達成した。

ABSTRACT

Rotation equivariance is a desirable property in many practical applications such as motion forecasting and 3D perception, where it can offer benefits like sample efficiency, better generalization, and robustness to input perturbations. Vector Neurons (VN) is a recently developed framework offering a simple yet effective approach for deriving rotation-equivariant analogs of standard machine learning operations by extending one-dimensional scalar neurons to three-dimensional "vector neurons." We introduce a novel "VN-Transformer" architecture to address several shortcomings of the current VN models. Our contributions are: $(i)$ we derive a rotation-equivariant attention mechanism which eliminates the need for the heavy feature preprocessing required by the original Vector Neurons models; $(ii)$ we extend the VN framework to support non-spatial attributes, expanding the applicability of these models to real-world datasets; $(iii)$ we derive a rotation-equivariant mechanism for multi-scale reduction of point-cloud resolution, greatly speeding up inference and training; $(iv)$ we show that small tradeoffs in equivariance ($ε$-approximate equivariance) can be used to obtain large improvements in numerical stability and training robustness on accelerated hardware, and we bound the propagation of equivariance violations in our models. Finally, we apply our VN-Transformer to 3D shape classification and motion forecasting with compelling results.

研究の動機と目的

• ベクターニューロンモデルにおける複雑な前処理を不要とする回転等変換性Transformerアーキテクチャの開発。
• ベクターニューロンフレームワークを、現実世界の点群データにおける非空間的属性の処理に拡張すること。
• 回転等変換性を保持したまま、点群におけるマルチスケール特徴の低減を効率的に行うこと。
• 近似等変換性（ε）と数値安定性のトレードオフを分析し、加速ハードウェアでの訓練を改善すること。
• 等変換性の保証のもとで、3次元形状分類および運動予測において最先端の性能を実証すること。

提案手法

• スカラー自己アテンションを行列値のベクターニューロンに一般化するフロベニウス内積に基づくアテンション機構を提案し、回転等変換性を保証する。
• 点群の解像度を1024トークンから32トークンに低減する学習可能な埋め込み特徴機構を導入し、訓練速度を約2倍に向上させつつ精度損失を最小限に抑える。
• 強度や意味的属性などの非空間的属性を等変換モデルに統合する2つのメカニズムを設計し、回転等変換性を損なわないようにする。
• VN-LinearWithBiasレイヤーにおいてε-近似等変換性を採用し、ハードウェアアクセラレータ上での数値安定性と訓練の頑健性を向上させる。
• エンドツーエンドの訓練を用いて、VN-Transformerを3次元形状分類（ModelNet40）および運動予測（Waymo Open Motion Dataset）に適用する。
• 残差接続とレイヤーナーミャライゼーションを、ベクターニューロン形式に適合させたTransformerデコーダーヘッドに適用する。

実験結果

リサーチクエスチョン

• RQ1 エッジ畳み込みや前処理に依存せずに、ベクターニューロンから直接回転等変換性アテンション機構を導出可能か？
• RQ2 非空間的属性を回転等変換モデルに統合する際、等変換性を損なわずに実現可能か？
• RQ3 ハードウェアアクセラレーション環境下で、ε-近似等変換性が数値安定性および訓練効率に与える影響は何か？
• RQ4 マルチスケール特徴の低減を等変換性に適合させることで、点群モデルの推論速度を向上可能か？
• RQ5 回転摂動が加えられた状況下でも、VN-Transformerは標準Transformerを上回る運動予測性能を示せるか？

主な発見

• ε = 10⁻⁶および追加の速度特徴を用いた場合、Waymo Open Motion Datasetにおける平均距離誤差（ADE）を3.67に低減し、vanilla Transformer比で27%の改善を達成した。
• 潜在特徴機構を用いてトークン数を1024から32に削減した場合、訓練速度が2倍に向上（1秒あたりのステップ数）し、ModelNet40における精度低下はわずか1.7%にとどまった。
• ε = 10⁻⁶でVN-Transformerを用いた場合、データオーグメンテーションなしでもWOMDで3.95 ADEを達成し、後者がz軸回転オーグメンテーションを用いても標準Transformer（5.01 ADE）を上回った。
• モデルは回転下でも優れた一般化性能を維持している：図7による可視化で、入力の回転に対して予測が等変換性を保っていることが確認された。これは標準Transformerとは対照的である。
• VN-PointNetおよびVN-Transformerの両モデルがポルカドット空間特徴から顕著な利益を得ており、空間的および非空間的情報の有効な統合が示された。
• 理論的境界では、等変換性の違反が、各層におけるリプシッツ定数とεの積に比例して制御的に伝播することが示された。