[論文レビュー] A General Theory of Equivariant CNNs on Homogeneous Spaces

Taco Cohen, Mario Geiger+1 more|arXiv (Cornell University)|Nov 5, 2018

Neural Networks and Applications参考文献 51被引用数 36

ひとこと要約

本稿は、線形束理論を用いて、同次空間上の群不変型畳み込みニューラルネットワーク（G-CNN）の一般化された数学的枠組みを提示する。すべての特徴場の間の不変型線形層は、不変型カーネルを用いた畳み込みとして表現可能であり、そのカーネルは群表現と陪集合空間を介して特徴づけられる。本理論は、ユークリッド空間、球面、3次元剛体運動の応用を含め、広範に適用可能な一貫性のある形式を統合的に提供する。

ABSTRACT

We present a general theory of Group equivariant Convolutional Neural Networks (G-CNNs) on homogeneous spaces such as Euclidean space and the sphere. Feature maps in these networks represent fields on a homogeneous base space, and layers are equivariant maps between spaces of fields. The theory enables a systematic classification of all existing G-CNNs in terms of their symmetry group, base space, and field type. We also consider a fundamental question: what is the most general kind of equivariant linear map between feature spaces (fields) of given types? Following Mackey, we show that such maps correspond one-to-one with convolutions using equivariant kernels, and characterize the space of such kernels.

研究の動機と目的

• 群作用と線形束に基づく一貫した数学的枠組みを用いて、多様なG-CNNアーキテクチャを統一すること。
• 新規なモダリティにおける不変型ネットワークの体系的分類と設計指針の欠如に対処すること。
• 基本的な問いに答えること：与えられた対称性型の特徴場の間で、最も一般な不変型線形写像の形は何か？
• 深層学習と現代の数学・物理学を結びつける形式を提供し、分野間のインサイトを可能にすること。

提案手法

• 特徴空間を、同次空間 B ≅ G/H 上の主G束に関連するベクトル束の切断としてモデル化する。
• 安定化部分群Hの表現ρにより、テンソル、ベクトル、スカラーの性質を記述する場の型を定義する。
• このような特徴場間の不変型線形写像が、特定の不変性制約を満たすカーネルによる畳み込みと同等であることを確立する。
• 不変型カーネルの空間を3通りの同等な方法で特徴づける：G上の関数、基底空間B上、または二重陪集合空間 H₁\G/H₂ 上。
• Mackeyの理論を用いて、不変型写像と不変型カーネルの間の一対一対応を示す。
• 具体的な応用に適用：球面上のSO(3)、3次元空間上のSE(3)を扱い、等方的および非等方的フィルタのカーネル制約を導出する。

実験結果

リサーチクエスチョン

• RQ1 同次空間B ≅ G/H 上の特徴場の間で、与えられた群対称性を保つ最も一般な線形写像の形は何か？
• RQ2 既存のG-CNNは、その対称性群G、基底空間B ≅ G/H、場の表現ρの観点から体系的に分類可能か？
• RQ3 G-CNN内のすべての不変型層は、群作用に関して不変型であるカーネルによる畳み込みとして表現可能か？
• RQ4 カーネル制約は、表現ρの選択および同次空間の構造にどのように依存するか？
• RQ5 二重陪集合空間は、不変型カーネルの空間をパrameter化する上で果たす役割は何か？

主な発見

• 同次空間B ≅ G/H 上の特徴場の間のすべての線形不変型写像は、群作用に関して特定の不変性条件を満たすカーネルによる畳み込みと同等である。
• 不変型カーネルの空間は、表現に基づく制約を受けるが、二重陪集合空間 H₁\G/H₂ 上の行列値関数の空間と同型である。
• SO(3)対称性を持つ球面S²では、不変型カーネルは[0, π)上に定義された関数であり、極を除いて制約なしで、等方的および非等方的フィルタを一般化する。
• 3次元空間にSE(3)対称性を適用した場合、ℝ³上の不変型カーネルは、r ∈ SO(3)に対して ϰ(rx) = ρ₂(r)ϰ(x)ρ₁(r⁻¹) を満たし、3次元データ向けの回転可能CNNを可能にする。
• 本理論は、球面CNNや3次元回転可能CNNを含む既存のG-CNNを、線形束と誘導表現に基づく一貫した枠組みで統合する。
• 本形式的枠組みにより、対称的領域上のベクトル場やテンソル場などの新規なデータタイプ向けに、体系的な不変型アーキテクチャの設計が可能になる。