[論文レビュー] On the Universality of Invariant Networks

Haggai Maron, Ethan Fetaya+2 more|arXiv (Cornell University)|Jan 27, 2019

Tensor decomposition and applications参考文献 15被引用数 14

ひとこと要約

この論文は、任意の有限置換群 G ≤ Sₙ に対して、G-不変ニューラルネットワークの普遍近似能力を確立する。普遍性が一部の群（例えば、交代群 Aₙ）では高次テンソルを必要とすることを示し、第一階テンソルのみを用いた普遍性のための必要条件として「2-閉性」を同定することで、不変ネットワーク設計における重要な理論的ギャップを解消する。

ABSTRACT

Constraining linear layers in neural networks to respect symmetry transformations from a group $G$ is a common design principle for invariant networks that has found many applications in machine learning. In this paper, we consider a fundamental question that has received little attention to date: Can these networks approximate any (continuous) invariant function? We tackle the rather general case where $G\leq S_n$ (an arbitrary subgroup of the symmetric group) that acts on $\mathbb{R}^n$ by permuting coordinates. This setting includes several recent popular invariant networks. We present two main results: First, $G$-invariant networks are universal if high-order tensors are allowed. Second, there are groups $G$ for which higher-order tensors are unavoidable for obtaining universality. $G$-invariant networks consisting of only first-order tensors are of special interest due to their practical value. We conclude the paper by proving a necessary condition for the universality of $G$-invariant networks that incorporate only first-order tensors.

研究の動機と目的

• 任意の連続的 G-不変関数を G-不変ネットワークが普遍的に近似できるかどうかを特定すること。
• G-不変ネットワークにおける普遍性を達成するために必要な最小のテンソル次数を同定すること。
• 第一階テンソルのみを用いて普遍性を達成できるような群 G を同定すること。
• 点群、グラフ、表形式データのための不変ネットワークにおける近似能力に関する未解決の問いを解消すること。
• 普遍的不変アーキテクチャ設計の理論的基盤を確立すること。

提案手法

• 群 G に依存する次数 d まで、次数 k ≤ d のテンソル間で線形等変換層を用いた G-不変ネットワークを構築する。
• 任意の連続的 G-不変関数が高次テンソルを用いて近似可能であることを構成的証明により示す。
• 群 G の軌道構造を分析することで、テンソル次数の下界を導出し、Aₙ に対しては (n−2)/2 が最小次数であることを証明する。
• 表現論とテンソル上の群作用を用いて、等変および不変な線形層を定義する。
• 群の軌道における不変関数値に基づく背理法を用いて、非 2-閉群では第一階ネットワークが普遍でないことを証明する。
• 2-閉群の概念を導入し、一意に G-等変関数の存在と関連付ける。

実験結果

リサーチクエスチョン

• RQ1 任意の有限置換群 G ≤ Sₙ に対して、G-不変ネットワークは任意の連続的 G-不変関数を近似可能か？
• RQ2 G-不変ネットワークにおける普遍性を達成するために必要な最小のテンソル次数は何か？
• RQ3 どの群 G に対して第一階テンソルのみを用いて普遍性が達成可能か？
• RQ4 どのような G の構造的性質が、第一階 G-不変ネットワークの普遍性を阻害するか？
• RQ5 2-閉性は、一意に G-等変関数の存在とネットワークの普遍性の両者とどのように関連するか？

主な発見

• 高次テンソル（次数 ≤ n(n−1)/2）を許容する限り、G-不変ネットワークは普遍的である。
• 交代群 Aₙ に対しては、次数が (n−2)/2 以下のテンソルを用いた任意の G-不変ネットワークは、普遍的ではない。
• 第一階テンソルのみを用いた G-不変ネットワークが普遍的であるための必要条件は、G が 2-閉であることである。
• 無限個の置換群族（例えば、PSL_d(F_q), AΓL_d(F_q)）が 2-推移的であり、従って 2-閉でないことがあり、このような群では第一階ネットワークは普遍的でない。
• 第一階の普遍性を達成するためには、一意に G-等変な線形関数の存在が必須であり、これにより本研究は先行研究におけるパラメータ共有の結果と関連づけられる。
• 本論文は、点群、グラフ、表形式データのための実用的アーキテクチャの普遍性を、必要となる群論的条件を同定することで解消している。