[論文レビュー] Tensor field networks: Rotation- and translation-equivariant neural networks for 3D point clouds

Nathaniel Thomas, Tess Smidt+5 more|arXiv (Cornell University)|Feb 22, 2018

3D Shape Modeling and Analysis参考文献 19被引用数 564

ひとこと要約

3D 点群の回転・並進等変性を持つテンソル場ネットワークを導入し、球面調和関数ベースのフィルターと Clebsch-Gordan 張量積を通じてスカラー、ベクトル、そして高次テンソル出力を実現します。

ABSTRACT

We introduce tensor field neural networks, which are locally equivariant to 3D rotations, translations, and permutations of points at every layer. 3D rotation equivariance removes the need for data augmentation to identify features in arbitrary orientations. Our network uses filters built from spherical harmonics; due to the mathematical consequences of this filter choice, each layer accepts as input (and guarantees as output) scalars, vectors, and higher-order tensors, in the geometric sense of these terms. We demonstrate the capabilities of tensor field networks with tasks in geometry, physics, and chemistry.

研究の動機と目的

• データ拡張を減らし効率を向上させるために、完全な回転および並進等変性を備えた3Dユークリッド空間での学習を動機づける。
• 連続的な局所畳込みと幾何学的テンソル出力を備えた、点群上で動作する普遍的なアーキテクチャを開発する。
• SO(3) 表現と互換性のある回転等変性のビルディングブロック（点畳込み、自己相互作用、非線形性）を提供する。
• 形状分類、ダイナミクス、分子構造生成など、幾何学・物理学・化学への応用を示す。

提案手法

• テンソル値特徴を持つ3D点の集合を受け取り、各点でテンソル値特徴を出力する層を定義する。
• 球面調和関数 Y_m^{(l)} を用いて畳み込みフィルターを F_{cm}^{(l_f,l_i)}(r) = R^{(l_f,l_i)}_{c}(r) Y_m^{(l_f)}( hat) と制約し、SO(3) 等変性を保証する。
• 入力表現とフィルター表現をテンソル積と Clebsch-Gordan 係数を用いて結合し、SO(3) の不変表現に従って変換する出力を生成する。
• 点畳込み、自己相互作用、非線形性が置換、並進、回転の下で等変であることを証明する。
• スカラー、ベクトル、対称トレースなしテンソルに対応する l=0,1,2 表現を実装し、回転次数ごとにレイヤーごとのチャネルを設定する。
• 幾何学（データ拡張なしの形状分類）、物理学（加速度と慣性テンソル）、化学（QM9 における欠落点の生成）などのタスクで実証する。

実験結果

リサーチクエスチョン

• RQ1 3D 回転、平行移動、点の置換に対して各レイヤーで局所的に等変性を持つニューラルネットワークをどのように構築できるか。
• RQ2 球面調和関数と径スカラー関数からなるフィルターは SO(3) 等変性を実現し、スカラー、ベクトル、そして高次のテンソル出力をサポートできるか。
• RQ3 幾何学・物理学・化学のどのタスクが、非等変または部分的等変モデルに比べてテンソル場ネットワークの実用的利点を示すか。
• RQ4 回転・並進に不変な出力を、さまざまな3Dデータモダリティにわたりどのように達成できるか。

主な発見

• テンソル場ネットワークは各レイヤーで3D 回転・並進等変性を達成する。
• 回転等変性フィルターを用いると、モデルは各点で一貫した変換順序のテンソル（スカラー、ベクトル、高次テンソル）を出力する。
• 幾何タスクでは、ネットワークは単一の向きで3D形状を分類し、ランダムな回転・並進にも正確性を維持する（回転データ拡張なし）。
• 物理タスクでは、ニュートン加速度と慣性テンソルを、放射的な挙動を正しく持つ最小の層で学習する。
• 化学タスクでは、QM9 構造の欠落原子を高精度で予測でき、分子サイズを超えた良好な一般化を示す。
• このアプローチは数百から千の点へスケールし、既存の分子/有向グラフ系と補完的に機能する。