[論文レビュー] Theoretical Aspects of Group Equivariant Neural Networks

Carlos Esteves|arXiv (Cornell University)|Apr 10, 2020

Medical Imaging and Analysis参考文献 31被引用数 25

ひとこと要約

この論文は、群不変畳み込みニューラルネットワーク（G-CNN）の包括的な理論的基盤を提供し、コンpact群の下で群不変性が成立する条件を、畳み込み構造と同等であることを確立している。群表現論、調和解析、微分幾何学の概念を統合し、SO(3)およびSE(3)不変ネットワークを形式化することで、不変性が群畳み込みアーキテクチャを意味することを証明した。これにより、球面や3次元ボリューム入力のような回転対称性を持つデータ上で、パラメータ効率の良い学習が可能になる。

ABSTRACT

Group equivariant neural networks have been explored in the past few years and are interesting from theoretical and practical standpoints. They leverage concepts from group representation theory, non-commutative harmonic analysis and differential geometry that do not often appear in machine learning. In practice, they have been shown to reduce sample and model complexity, notably in challenging tasks where input transformations such as arbitrary rotations are present. We begin this work with an exposition of group representation theory and the machinery necessary to define and evaluate integrals and convolutions on groups. Then, we show applications to recent SO(3) and SE(3) equivariant networks, namely the Spherical CNNs, Clebsch-Gordan Networks, and 3D Steerable CNNs. We proceed to discuss two recent theoretical results. The first, by Kondor and Trivedi (ICML'18), shows that a neural network is group equivariant if and only if it has a convolutional structure. The second, by Cohen et al. (NeurIPS'19), generalizes the first to a larger class of networks, with feature maps as fields on homogeneous spaces.

研究の動機と目的

• 表現論と調和解析の道具を用いて、群不変ニューラルネットワークの厳密な理論的枠組みを確立すること。
• コンパクト群および同次空間における統合と畳み込みに必要な数学的道具立てを形式化すること。
• 近年のG-CNN（例：球面CNN、3次元ステアブルCNN）がこの理論にどのように根ざしているかを示すこと。
• ニューラルネットワークにおける不変性と畳み込み構造の関係を統一的かつ一般化すること。
• 球面や3次元ボリュームのような非ユークリッド空間上での不変モデル設計の一貫性ある理論的基盤を提供すること。

提案手法

• コンパクトリー群（SO(3)、SU(2)、SL(2,C)など）の既約表現を定義するために群表現論を用いる。
• コンパクト群上の統合にヘア測度を適用し、不変統合と畳み込み操作を可能にする。
• ピーター・ウェイの定理を用いてL²(G)関数を既約表現に分解し、群上のフーリエ解析を可能にする。
• コンパクト群上の畳み込み定理を導出し、群畳み込みがフーリエドメインにおける点乗算に対応することを示す。
• 同次空間（例：S²）における調和解析を適用し、球面畳み込みと相互相関を定義する。
• 線形束と同次空間作用を用いて、フィールドベースのネットワークへの不変性の一般化を図り、従来の結果をより広いアーキテクチャに拡張する。

実験結果

リサーチクエスチョン

• RQ1 コンパクト群の作用に関して、ニューラルネットワークが不変性を満たすために必要な数学的条件は何か？
• RQ2 ユークリッド空間から群や同次空間（SO(3) や S²）への畳み込み操作をどのように一般化できるか？
• RQ3 ニューラルネットワークにおける群不変性と畳み込み構造の正確な関係は何か？
• RQ4 既約表現と特殊関数（例：球面調和関数）は、群上の調和解析の文脈でどのように自然に出現するか？
• RQ5 不変ネットワークの理論を、標準的なCNNを超えて、同次空間上のフィールドとしての特徴マップを含むアーキテクチャに拡張できるか？

主な発見

• ニューラルネットワークが群不変であるための必要十分条件は、畳み込み構造を有することである。KondorとTrivedi（ICML’18）がこれを証明した。
• Cohenたちは（NeurIPS’19）この結果を、特徴マップが同次空間上のフィールドであるネットワークに一般化し、より広範な理論的基盤を確立した。
• 球面調和関数は、SO(3)の既約表現の行列要素として自然に出現し、球面CNNの基盤を形成する。
• コンパクト群上の畳み込み定理により、フーリエ変換を用いた効率的計算が可能となり、SO(3)およびS²ベースのネットワークにおける計算複雑度が低減される。
• 3次元ステアブルCNNとクレブシュ＝ゴルダンネットワークは、既約表現と結合則を活用することで回転不変性を達成する。
• この理論により、回転などの入力変換に対して一般化性能が高く、3次元および球面データタスクにおけるデータ量とモデル複雑度を削減できるパラメータ効率の良いモデルが可能になる。