[論文レビュー] On the Generalization of Equivariance and Convolution in Neural Networks to the Action of Compact Groups

Risi Kondor, Shubhendu Trivedi|arXiv (Cornell University)|Feb 11, 2018

Advanced Graph Neural Networks参考文献 20被引用数 215

ひとこと要約

本論文は、自然条件の下で、ニューラルネットワークにおけるコンパクト群作用への等変性が、各層が群演算と Haar測度に基づく一般化畳み込みを実装することに等価であることを証明する。さらに、平行移動を超えた等変性と畳み込みを結ぶ厳密な枠組みを提供する。

ABSTRACT

Convolutional neural networks have been extremely successful in the image recognition domain because they ensure equivariance to translations. There have been many recent attempts to generalize this framework to other domains, including graphs and data lying on manifolds. In this paper we give a rigorous, theoretical treatment of convolution and equivariance in neural networks with respect to not just translations, but the action of any compact group. Our main result is to prove that (given some natural constraints) convolutional structure is not just a sufficient, but also a necessary condition for equivariance to the action of a compact group. Our exposition makes use of concepts from representation theory and noncommutative harmonic analysis and derives new generalized convolution formulae.

研究の動機と目的

• CNNスタイルの等変性を平行移動を超えて、一般的なコンパクト群作用へ拡張する動機づけ。
• 畳み込みと等変性を統一する、厳密な表現論的枠組みを提供する。
• G等変性にとって、群および商空間上の一般化畳み込みが必要かつ十分であることを示す。
• 群および同次空間上の関数に対する一般化畳み込み公式を開発・提示する。
• ユークリッド平行移動を超える対称性を持つデータに対して動作するアーキテクチャへの影響を強調する。

提案手法

• 群演算と Haar 測度を用いて、有限群または可算群および 商空間上の一般化畳み込みを定義する。
• 各層が一般化畳み込みを実装する G等変性の前向きネットワークを形式化する。
• 商空間上で定義された活性化を扱うため、Gと同次空間間のリフトと射影を用いる。
• 群上の畳み込みを、不可約表現（調和解析）を介してフーリエ空間表現に結びつける。
• 畳み込みの特殊ケースを導出する。X = G, Y = G/H、および X = G/H, Y = Hackslash G、さらには二重余内容 (G/K) を含む混合ケースも含む。
• 抽象理論をまず提供し、具体例はセクション6に示す。

実験結果

リサーチクエスチョン

• RQ1 前向きネットワークがコンパクト群 G の作用に対して等変である条件は何か？
• RQ2 G から導かれる商空間/同次空間上の関数に作用するよう、畳み込みを一般化するにはどうすればよいか？
• RQ3 Gまたはその同次空間上で動作するネットワークにおける等変性と一般化畳み込みの関係は何か？
• RQ4 フーリエ解析（表現論）はこれらの空間上の一般化畳み込みをどのように記述するか？
• RQ5 並進を超える対称性を持つデータ（グラフ・多様体等）を扱うアーキテクチャにとっての実際的な影響は何か？

主な発見

• 前向きネットワークにおけるコンパクト群 G への等変性は、各層が G に関して (1) により導かれた一般化畳み込みを実装することと同値である。
• 畳み込みは商空間および同次空間へ自然に拡張され、G/H、H\backslash G、および G/K 上で定義された演算をもたらす。
• 商空間上の関数のフーリエ変換は、表現が部分群 H および K で分解される方法によって特定のスパース性パターンを持つ。
• 3つの主要な畳み込みケースを分析する：X = G, Y = G/H; X = G/H, Y = Hackslash G; および X = G/H, Y = Hackslash G/K、それぞれが対応する商空間上に出力を生成する。
• 商空間上の畳み込みは表現論と結びつき、G 等変性ニューラルネットワークを分析・設計する枠組みを提供する。