[論文レビュー] A Wigner-Eckart Theorem for Group Equivariant Convolution Kernels

Leon Lang, Maurice Weiler|arXiv (Cornell University)|Oct 21, 2020

Seismic Imaging and Inversion Techniques参考文献 31被引用数 21

ひとこと要約

この論文は、一般化されたウィグナー＝エーカートの定理を用いて、群不変畳み込みニューラルネットワーク（GCNN）のG-スティアブルな畳み込みカーネルの一般的特徴付けを確立している。群Gが任意のコンパクト群である場合、G-スティアブルなカーネルの空間が、一般化された縮約行列要素、クリーブシュ＝ゴルダン係数、および同次空間上の調和基底関数によって完全にパラメータ化されることを証明しており、任意のコンパクト群Gに対して完全な解を提供する。

ABSTRACT

Group equivariant convolutional networks (GCNNs) endow classical convolutional networks with additional symmetry priors, which can lead to a considerably improved performance. Recent advances in the theoretical description of GCNNs revealed that such models can generally be understood as performing convolutions with G-steerable kernels, that is, kernels that satisfy an equivariance constraint themselves. While the G-steerability constraint has been derived, it has to date only been solved for specific use cases - a general characterization of G-steerable kernel spaces is still missing. This work provides such a characterization for the practically relevant case of G being any compact group. Our investigation is motivated by a striking analogy between the constraints underlying steerable kernels on the one hand and spherical tensor operators from quantum mechanics on the other hand. By generalizing the famous Wigner-Eckart theorem for spherical tensor operators, we prove that steerable kernel spaces are fully understood and parameterized in terms of 1) generalized reduced matrix elements, 2) Clebsch-Gordan coefficients, and 3) harmonic basis functions on homogeneous spaces.

研究の動機と目的

• 群不変畳み込みニューラルネットワーク（GCNN）のG-スティアブルなカーネル空間の一般的特徴付けを提供すること。これは、これまでに特定のケースでのみ解決されていた。
• スティアブルなカーネルに課される制約と、量子力学における球面テンソル演算子との間の形式的類似性を確立し、表現論を活用すること。
• ウィグナー＝エーカートの定理を群不変深層学習の文脈に一般化し、カーネルパラメータ化の統一的枠組みを提供すること。
• G-スティアブルなカーネルを求める問題を、クリーブシュ＝ゴルダン係数、調和基底関数、および自己準同型写像に還元すること。これらは表現論の主要な要素である。

提案手法

• G-スティアブル性の制約を、量子力学的演算子の変換則に類似した表現論的条件として形式化する。
• 一般化されたウィグナー＝エーカートの定理を適用し、一般化された縮約行列要素を用いて、G-スティアブルなカーネル空間を既約成分に分解する。
• クリーブシュ＝ゴルダン係数を用いて、群Gの既約表現を結合し、G作用の下で不変なカーネルの構築を可能にする。
• 同次空間H/G上の調和基底関数を用いてカーネル空間をパラメータ化し、畳み込みの空間的構造を符号化する。
• 一般解を、3つの基本的要素に還元する：縮約行列要素（自由度）、クリーブシュ＝ゴルダン係数（結合則）、調和基底関数（空間モード）。
• 自己準同型写像がカーネル空間における役割を明らかにし、特に可約表現の場合にその必要性を表現論によって正当化する。

実験結果

リサーチクエスチョン

• RQ1 任意のコンパクト群Gに対して、G-スティアブルな畳み込みカーネルの空間を完全に特徴づける方法は何か？
• RQ2 G-スティアブルなカーネルの背後にある一般的な数学的構造は何か？そして、これは量子力学的テンソル演算子とどのように関係するか？
• RQ3 ウィグナー＝エーカートの定理を一般化することで、G-スティアブルなカーネルの完全なパラメータ化が可能か？
• RQ4 すべての可能なG-スティアブルなカーネルを構築するために必要な最小限の要素は何か？そして、それらは表現論とどのように関係するか？
• RQ5 GCNNの文脈において、可約表現への一般化はどのように行われるか？

主な発見

• 任意のコンパクト群Gに対して、G-スティアブルなカーネルの空間は、一般化された縮約行列要素、クリーブシュ＝ゴルダン係数、および同次空間上の調和基底関数によって完全に特徴づけられ、パラメータ化されている。
• この解決策は、ウィグナー＝エーカートの定理を群不変深層学習の文脈に一般化し、GCNNにおけるカーネル設計の厳密な理論的基盤を提供する。
• パラメータ化により、G-スティアブルなカーネルを求める問題が、表現論における3つのよく知られた対象、すなわち縮約行列要素、クリーブシュ＝ゴルダン係数、調和基底関数の計算に還元される。
• この枠組みは、O(3) や SU(N) を含むすべてのコンパクト群に一様に適用可能であり、特定のケースに限らない、等変層の体系的構築を可能にする。
• 可約表現を扱う際、カーネル空間における自己準同型写像の必要性が形式的に正当化されており、解の完全性が保証されている。
• 従来、特定のケースでのみ解決されていた、GCNN理論における長年の未解決問題を、一般解を提供することで解決した。