[論文レビュー] 3D Steerable CNNs: Learning Rotationally Equivariant Features in Volumetric Data

Maurice Weiler, Mario Geiger+3 more|arXiv (Cornell University)|Jul 6, 2018

Image Processing and 3D Reconstruction参考文献 32被引用数 79

ひとこと要約

SE(3) による等変性を持つ 3D ステアラブル CNN を提案。スカラー場、ベクトル場、テンソル場で動作し、回転と並進の等変性を保証する解析的なステアラブルカーネル基底を導出し、アミノ酸環境予測とタンパク質構造分類における性能向上を実証する。

ABSTRACT

We present a convolutional network that is equivariant to rigid body motions. The model uses scalar-, vector-, and tensor fields over 3D Euclidean space to represent data, and equivariant convolutions to map between such representations. These SE(3)-equivariant convolutions utilize kernels which are parameterized as a linear combination of a complete steerable kernel basis, which is derived analytically in this paper. We prove that equivariant convolutions are the most general equivariant linear maps between fields over R^3. Our experimental results confirm the effectiveness of 3D Steerable CNNs for the problem of amino acid propensity prediction and protein structure classification, both of which have inherent SE(3) symmetry.

研究の動機と目的

• ボリュームデータにおいて SE(3) 対称性を尊重するモデルの必要性を動機づけ、 Formalize（形式化）する。
• SE(3)-等変性畳込みの理論と実装を、ステアラブル基底カーネルを用いて開発する。
• 分子・タンパク質構造タスクにおけるデータ効率の高い改善を示す。
• 等変性を保持する離散化戦略と非線形性を提供する。
• 標準の3D CNN からごくわずかなコード変更で実装可能なことを示す。

提案手法

• データを R^3 上のスカラー、ベクトル、テンソルからなる場として表現する。
• カーネルを SE(3) の制約から導かれるステアラブル基底カーネルの線形結合としてパラメータ化する。
• 基底カーネルを不可約表示の SO(3) と球関数、および放射基底関数から導出する。
• 回転ステアラブルカーネルとのクロス相関を用いて特徴空間間の等変性線形写像を得る。
• 非スカラー特徴量の等変性を保持するゲート付き非線形性を導入する。
• エイリアシングを緩和する角周波数カットオフと放射状ガウスを用いた離散化を提供し、ダウンサンプリング前に低パスフィルタを適用して性能を改善する。

実験結果

リサーチクエスチョン

• RQ1 ステアラブル基底カーネルを用いた SE(3) 等変性畳込みは、R^3 の場間の最も一般的な等変線形写像を提供しうるか。
• RQ2 SE(3)-等変性ネットワークは、回転対称性を持つタスク（例：アミノ酸環境予測、タンパク質構造分類）において性能とデータ効率を向上させるか。
• RQ3 SE(3) ステアラブルカーネルを実践的な3D CNNにおいてどのように離散化・実装し、エイリアシングを制御するか。
• RQ4 ステアラブルネットワークにおける高次の非スカラー特徴量の等変性を保持する非線形性は何か。

主な発見

• 3D ステアラブル CNN は、回転ステアラブルカーネルを不可約表示の SO(3) 表現から構築し、畳込みを回転相関として表現することで SE(3) 等変性を達成する。
• アミノ酸環境予測において、同じ設定下の従来の CNN よりも精度が大幅に向上（テスト精度 0.58）、一部の設定でパラメータ数を削減。
• SHREC17 の3D形状分類では、体素入力を用いながら最先端と同等の性能を、より少ないパラメータで達成。
• CATHタンパク質構造タスクでは、強力な3D CNNベースラインよりも 100 倍少ないパラメータで高精度を達成し、トレーニングデータ量を減らしても優位性を保つ。
• テトリス風の3D 実験で、回転一般化が理想に近い（99±2% の精度）一方、ベースラインCNNは回転時に 27±7% の精度しか出ず、実践での等変性を確認。
• 本論文は、等変カーネル、アンチエイリアシングを伴うダウンサンプリング、トレーニング後に標準の3D CNNへ変換する実用的な道筋を含む完全なフレームワークを提供する。