[論文レビュー] Probabilistic symmetries and invariant neural networks

Benjamin Bloem-Reddy, Yee Whye Teh|arXiv (Cornell University)|Jan 18, 2019

Neural Networks and Applications参考文献 109被引用数 52

ひとこと要約

この論文は、機能的対称性と確率的対称性を結ぶ確率的フレームワークを開発し、コンパクト群の下で不変性と等変性を厳密に表現できるニューラルネットワークを提供し、シーケンス、配列、グラフの対称モデルを構築する一般的なプログラムを提示する。

ABSTRACT

Treating neural network inputs and outputs as random variables, we characterize the structure of neural networks that can be used to model data that are invariant or equivariant under the action of a compact group. Much recent research has been devoted to encoding invariance under symmetry transformations into neural network architectures, in an effort to improve the performance of deep neural networks in data-scarce, non-i.i.d., or unsupervised settings. By considering group invariance from the perspective of probabilistic symmetry, we establish a link between functional and probabilistic symmetry, and obtain generative functional representations of probability distributions that are invariant or equivariant under the action of a compact group. Our representations completely characterize the structure of neural networks that can be used to model such distributions and yield a general program for constructing invariant stochastic or deterministic neural networks. We demonstrate that examples from the recent literature are special cases, and develop the details of the general program for exchangeable sequences and arrays.

研究の動機と目的

• 対称性（不変性または等変性）を持つグループ作用の下でニューラルネットワークアーキテクチャを動機づけ、形式化する。
• 機能的対称性（決定論的写像）と確率的対称性（条件付き分布）を結びつける。
• 不変/等変条件付き分布の機能表現を提供し、ネットワーク設計を指針とする。
• シーケンス、配列、グラフに適用可能な対称的確率・決定論的ネットワークの一般的構築プログラムを開発する。

提案手法

• 機能的対称性（関数の不変性/等変性）を確率的対称性（条件付き分布の不変性/等変性）と関連付けて定義する。
• ηとX independentで実現する不変または等変条件付き分布を実現するノイズ外部化機能表現 Y = f(η, X) を導入する。
• 最大不変量 M(X) と表現 (X, Y) a.s. = (X, f(η, M(X))) によって不変条件付き分布を特徴づける。
• 表現 (X, Y) a.s. = (X, f(η, X)) を満たす関数 f に対して g·Y = f(η, g·X) がすべての g ∈ G に対して成り立つようにして等変条件付き分布を特徴づける。
• 交換可能な系列/配列/グラフへ特化し、標準形（例：経験的測度、canonical CX、代表的等変体）を提供する。
• 対称的ネットワーク構築の実践的配慮と、確率性と関数クラス選択の役割について論じる。

実験結果

リサーチクエスチョン

• RQ1 Y|X がグループ作用 G の下で不変または等変であるための必要十分条件となる確率的条件は何か。
• RQ2 不変/等変条件付き分布を機能的に表現するには、ノイズ外部化形を含めてどう表現できるか。
• RQ3 最大不変量と十分性の概念は、対称性を尊重する現実的なニューラルネットワーク設計をどのように可能にするか。
• RQ4 フレームワークを交換可能な系列、配列、グラフに特化して、具体的なネットワーク設計を得るにはどうするか。
• RQ5 対称的なアーキテクチャにおける関数クラスの選択と確率性の組み込みに関する指針は何か。

主な発見

• 交換可能な入力に対して不変条件付き分布は η を X とは独立としたノイズ外部化機能表現 Y = f(η, MX) を許容する。
• 交換可能な入力に対する等変条件付きは、MX の関数と適切な f の対称性制約を用いて置換構造を保持する表現を認める。
• 一般のコンパクト群に対して、不変条件付き分布と等変条件付きは最大不変量 M(X) と代表的等変体を介して表現でき、系統的なニューラルネットワーク構築を可能にする。
• 経験測度と canonical form は置換の下で関係する情報をすべて捉える最大不変量として中心的な役割を果たす。
• フレームワークは交換可能な行列、グラフ、および高次元配列へ拡張され、対称性を達成するための対応する canonical 表現（CANON、CX）とブロードキャスト特徴が提供される。
• このアプローチは既存の不変アーキテクチャを特別なケースとして包含する統一的で確率的な視点を提供し、対称ネットワーク設計の一般プログラムを提案する。