[論文レビュー] General $E(2)$-Equivariant Steerable CNNs

Maurice Weiler, Gabriele Cesa|arXiv (Cornell University)|Nov 19, 2019

Geophysical Methods and Applications被引用数 105

ひとこと要約

この論文は、平面上の E(2)-等変なステアラブル畳み込みの一般的な枠組みを提供し、カーネル制約を不可約表現に還元し、実証的な利得を通じて広範なアーキテクチャ適用性を示している。

ABSTRACT

The big empirical success of group equivariant networks has led in recent years to the sprouting of a great variety of equivariant network architectures. A particular focus has thereby been on rotation and reflection equivariant CNNs for planar images. Here we give a general description of $E(2)$-equivariant convolutions in the framework of Steerable CNNs. The theory of Steerable CNNs thereby yields constraints on the convolution kernels which depend on group representations describing the transformation laws of feature spaces. We show that these constraints for arbitrary group representations can be reduced to constraints under irreducible representations. A general solution of the kernel space constraint is given for arbitrary representations of the Euclidean group $E(2)$ and its subgroups. We implement a wide range of previously proposed and entirely new equivariant network architectures and extensively compare their performances. $E(2)$-steerable convolutions are further shown to yield remarkable gains on CIFAR-10, CIFAR-100 and STL-10 when used as a drop-in replacement for non-equivariant convolutions.

研究の動機と目的

• 平面画像ネットワークにおける一般化とサンプル効率を向上させるための対称性事前情報の利用を動機づける。
• E(2) およびそのサブグループの核制約を不可約表現への還元によって解決する一般的戦略を提供する。
• 従来の GCNN、Steerable CNN、Harmonic および関連アーキテクチャを包含・拡張する統一フレームワークを実現する。
• グループ表現と非線形性がどのように相互作用して、様々な等変性層を制約・実現するかを示す。
• E(2)-steerable畳み込みを標準畳み込みのドロップイン置換として扱うことによって、データセット全体で実用的な利点を示す。

提案手法

• 群表現と誘導表現によって定義される変換則を用いて、ステアラブル特徴場を定式化する。
• カーネル制約 k(gx) = ρ_out(g) k(x) ρ_in(g^{-1}) を導出し、これが irrep 分解を通じて解けることを示す（Eq. 3）。
• 入力/出力表現を不可約成分に分解して、カーネル制約の独立した irrep ブロックを得る（Eq. 3）。
• Fourier 基底を用いて角度方向を展開し、O(2) およびサブグループの不可約表現を活用して、明示的な基底要素を得る（Table 2 および Appendix F）。
• 基底ベースの G-steerable カーネルを構築し、線形結合を学習して等変畳み込みをパラメータ化する（Eq. 4）。
• 正規表現、商としての表現、誘導表現など様々な表現と、ユニタリ制約下での適合可能な非線形性を議論・評価する。

実験結果

リサーチクエスチョン

• RQ1 E(2)-等変畳み込みのカーネル空間制約を任意の表現に対して効率的に解くにはどうすればよいか。
• RQ2 O(2) およびそのサブグループに対するステアラブルカーネルの明示的な基底は何か、不可約表現が角度成分の許容性をどのように決定するか。
• RQ3 異なる表現と非線形性がどのように相互作用してネットワークの性能とパラメータ効率に影響を与えるか。
• RQ4 グループ制限（等変性の漸進的な低減）はデータの対称性と一致させることによって実画像の性能を改善するか。
• RQ5 E(2)-steerable畳み込みは標準ベンチマーク（CIFAR-10/100、STL-10、MNIST系統）でドロップイン置換として一貫した利得を提供するか。

主な発見

• カーネル制約の一般的な解は不可約表現への還元によって実現可能であり、以前の多くのアーキテクチャの統一フレームワークを可能にする。
• O(2) およびそのサブグループに対応する G-steerable カーネルの明示的な角度基底が導出され、基底は異なる角周波数に対応する。
• このフレームワークは異なる場型を組み合わせたハイブリッドアーキテクチャをサポートし、深さとともに等変性を変えるグループ制限操作を許容する。
• 実験的ベンチマークは、グループ・表現・非線形性を比較し、CIFAR-10、CIFAR-100、STL-10 で従来の畳み込みの代わりに E(2)-steerable 畳み込みを用いると有意な性能向上を示す。
• このアプローチは他の均質空間・多様体にも適用可能で、球面 CNN やゲージ等変性 CNN などの拡張を可能にする。
• 設計は正規表現と商表現の両方を受け入れ、非線形性を等変性を維持するように選択する必要があることを示す。