[論文レビュー] Geometric Deep Learning and Equivariant Neural Networks

Jan E. Gerken, Jimmy Aronsson+5 more|arXiv (Cornell University)|May 28, 2021

Topological and Geometric Data Analysis被引用数 5

ひとこと要約

本稿は、主 bundle と誘導表現を用いて、多様体上での群およびゲージ等変性ニューラルネットワークを用いた幾何的ディープラーニングの厳密な数学的枠組みを提示する。等変性層が表現間のintertwinerであることを確立し、SO(3) 上のフーリエ解析を用いて、球面的および曲がったデータにおけるセマンティックセグメンテーションやオブジェクト検出といったタスクで最先端の性能を達成する。

ABSTRACT

We survey the mathematical foundations of geometric deep learning, focusing on group equivariant and gauge equivariant neural networks. We develop gauge equivariant convolutional neural networks on arbitrary manifolds $\mathcal{M}$ using principal bundles with structure group $K$ and equivariant maps between sections of associated vector bundles. We also discuss group equivariant neural networks for homogeneous spaces $\mathcal{M}=G/K$, which are instead equivariant with respect to the global symmetry $G$ on $\mathcal{M}$. Group equivariant layers can be interpreted as intertwiners between induced representations of $G$, and we show their relation to gauge equivariant convolutional layers. We analyze several applications of this formalism, including semantic segmentation and object detection networks. We also discuss the case of spherical networks in great detail, corresponding to the case $\mathcal{M}=S^2=\mathrm{SO}(3)/\mathrm{SO}(2)$. Here we emphasize the use of Fourier analysis involving Wigner matrices, spherical harmonics and Clebsch-Gordan coefficients for $G=\mathrm{SO}(3)$, illustrating the power of representation theory for deep learning.

研究の動機と目的

• 群およびゲージ等変性を用いた幾何的ディープラーニングの統一的数学的基盤の構築を目的とする。
• 主 bundle と関連ベクトル bundle の切断を用いて、任意の多様体上での等変性畳み込み層の形式的定式化を目的とする。
• 対称性群の誘導表現間のintertwinerと等変性層との間の明確な数学的関係を確立することを目的とする。
• 球面的データや非ユークリッド的データにおけるセマンティックセグメンテーションやオブジェクト検出といった実世界のタスクへのこの形式的枠組みの応用を目的とする。
• SO(3) 表現論、特に Wigner 行列と Clebsch–Gordan 系数を含む、球面的ネットワークの詳細な取り扱いを目的とする。

提案手法

• 構造群 K の主 bundle を用いてゲージ等変性畳み込みを形式化し、関連ベクトル bundle の切断間の等変性写像を用いる。
• 誘導表現の理論とintertwinerを用いて、ゲージ等変性畳み込み層の一般形を導出する。
• 等変性がグローバル対称性群 G に関して成り立つような同次空間 M = G/K にこの枠組みを適用する。
• 球面調和関数、Wigner 行列、Clebsch–Gordan 系数を用いた SO(3) 上のフーリエ解析により、球面畳み込みを構築する。
• SE(3) の正則表現を 2D イメージ平面に射影することで、SE(3)-等変性ネットワークを構築し、3D 剛体変換に関しての等変性を実現する。
• 群等変性層が群作用におけるカーネル不変性によって制約されることを示し、等変性層の体系的設計を可能にする。

実験結果

リサーチクエスチョン

• RQ1 微分幾何学およびファイバー束理論を用いて、任意の多様体上での群およびゲージ等変性ニューラルネットワークを体系的に構築する方法は何か？
• RQ2 等変性層と対称性群の誘導表現間のintertwinerとの間の明確な数学的関係は何か？
• RQ3 SO(3) の表現論（Wigner 行列および Clebsch–Gordan 系数を含む）を用いて、球面畳み込みをどのように導出し、実装できるか？
• RQ4 非ユークリッド的データ（例：フィッシュアイ画像や球面信号）におけるセマンティックセグメンテーションおよびオブジェクト検出において、等変性はどの程度性能向上に寄与するか？
• RQ5 非推移的群作用やピンホールカメラモデルのような非線形多様体への等変性の拡張における理論的および実用的課題は何か？

主な発見

• 本稿は、群等変性畳み込み層が数学的に対称性群 G の誘導表現間のintertwinerと等価であることを確立した。
• 主 bundle 上の関連ベクトル bundle の切断を用いて、多様体上でのゲージ等変性ネットワークが構築され、構造群 K による等変性が保証される。
• 球面的データ（M = S² = SO(3)/SO(2)）に対しては、球面調和関数および Wigner 行列に基づくフーリエ変換を用いた効率的な計算が可能になる。
• Clebsch–Gordan 系数の使用により、特徴マップが既約表現に分解され、構造的かつ効率的な層設計が可能になる。
• 3D 剛体変換を 2D イメージ平面に射影することで、SE(3)-等変性オブジェクト検出が実現され、出力特徴は SE(3) の正則表現に従って変化する。
• 著者らは、等変性が1サンプルあたりの効率性を向上させ、データオーグメンテーションへの依存を低減することを示した。線形モデルでは理論的根拠が与えられ、非線形設定では実験的裏付けも得られた。