[論文レビュー] SE(3)-Transformers: 3D Roto-Translation Equivariant Attention Networks

Fabian B. Fuchs, Daniel E. Worrall+2 more|arXiv (Cornell University)|Jun 18, 2020

3D Shape Modeling and Analysis参考文献 43被引用数 223

ひとこと要約

SE(3)-Transformerを導入。3D点群とグラフのSE(3)-等変性自己注意モデルを提案し、回転/平行移動の堅牢な処理を可能にし、N-body、ScanObjectNN、QM9で競争力のある性能を発揮。

ABSTRACT

We introduce the SE(3)-Transformer, a variant of the self-attention module for 3D point clouds and graphs, which is equivariant under continuous 3D roto-translations. Equivariance is important to ensure stable and predictable performance in the presence of nuisance transformations of the data input. A positive corollary of equivariance is increased weight-tying within the model. The SE(3)-Transformer leverages the benefits of self-attention to operate on large point clouds and graphs with varying number of points, while guaranteeing SE(3)-equivariance for robustness. We evaluate our model on a toy N-body particle simulation dataset, showcasing the robustness of the predictions under rotations of the input. We further achieve competitive performance on two real-world datasets, ScanObjectNN and QM9. In all cases, our model outperforms a strong, non-equivariant attention baseline and an equivariant model without attention.

研究の動機と目的

• ノイズを含む3D回転・平行移動下での3D点群/グラフに対する堅牢な学習を動機づける。
• ポーズ情報を保持するSE(3)-等変性自己注意機構を開発する。
• 近傍とアテンションを用いて、大規模で不規則な点集合へのスケーラビリティを実現する。
• 非等変・非アテンションのベースラインより堅牢性と精度の向上を示す。
• より広く利用されるための効率的な実装とオープンソースコードを提供する。

提案手法

• 点群上の近傍を定義してグラフを構築する。
• SE(3)不変のエッジアテンション重みとSE(3)等変のエッジメッセージを設計する。
• 層間でSE(3)等変性を保つアテンション機構を組み込む。
• ノード内特徴を組み合わせる自己相互作用層（線形またはアテンティブ）を導入する。
• 等変性を維持しつつ表現力を高めるアテンティブ自己相互作用バリアントを提供する。

実験結果

リサーチクエスチョン

• RQ1 SE(3)-equivariant attentionは3Dデータにおける回転・平行移動に対するロバスト性を向上させるか？
• RQ2 SE(3)設定でテンソル場ネットワーク畳み込みを超えてアテンションは価値を追加するか？
• RQ3 近傍サイズと入力点数の増減に対してモデルはどのようにスケールするか？
• RQ4 SE(3)フレームワークにおける線形とアテンティブ自己相互作用のトレードオフは？
• RQ5 実世界の3Dタスク（物体分類や分子特性予測）の競争力はあるか？

主な発見

• SE(3)-Transformerは、非等変アテンションのベースライン（Set Transformer）およびアテンションなしの等変モデルをタスク全体で上回る。
• モデルは回転等変の予測を高忠実度で達成する（いくつかの実験でDelta_EQはほぼゼロに近い）。
• N体シミュレーションでは、SE(3)-Transformerが位置と速度の最良のMSEを達成し、強い等変性を示す。
• ScanObjectNNでは、入力としてz座標を追加すると回転が変化する場合に精度が向上し、対称性仮定への柔軟性を示す。
• QM9では、SE(3)-Transformerは他の等変モデルや非等変ベースラインに対して競争力のある平均絶対誤差を示す。
• 実装には高速なGPU加速球面調和関数モジュールが含まれ、訓練と推論の効率を改善する。