[論文レビュー] Learning Stable Group Invariant Representations with Convolutional Networks

Joan Bruna, Arthur Szlam+1 more|arXiv (Cornell University)|Jan 16, 2013

Speech and Audio Processing参考文献 2被引用数 19

ひとこと要約

この論文は、変換群を層間で要因分解することにより、深層畳み込みニューラルネットワークが本質的に安定した局所的群不変性を学習することを提案している。プーリングは不変性を誘導し、畳み込みは群作用の可換性によってそれを保持する。主な貢献は、複雑で変形可能な変換の下での安定した不変性とネットワークアーキテクチャの間の理論的枠組みを結びつけることである。

ABSTRACT

Transformation groups, such as translations or rotations, effectively express part of the variability observed in many recognition problems. The group structure enables the construction of invariant signal representations with appealing mathematical properties, where convolutions, together with pooling operators, bring stability to additive and geometric perturbations of the input. Whereas physical transformation groups are ubiquitous in image and audio applications, they do not account for all the variability of complex signal classes. We show that the invariance properties built by deep convolutional networks can be cast as a form of stable group invariance. The network wiring architecture determines the invariance group, while the trainable filter coefficients characterize the group action. We give explanatory examples which illustrate how the network architecture controls the resulting invariance group. We also explore the principle by which additional convolutional layers induce a group factorization enabling more abstract, powerful invariant representations.

研究の動機と目的

• 幾何的および加法的摂動の下での安定した群不変性と深層畳み込みニューラルネットワークの間の関係を形式化すること。
• 畳み込みニューラルネットワークにおける重み共有と階層的アーキテクチャが、複雑な変換群に対して頑健な表現を生み出す理由を説明すること。
• 群作用と変形距離計測を用いて、畳み込みニューラルネットワークにおける局所的不変性の理論的基盤を確立すること。
• データに内在する対称性群に基づいた群発見と構造的フィルタ学習のための枠組みを提案すること。

提案手法

• 変形に対する表現の変化を、不変性群からの距離に対して制限するリプシッツ連続性条件（式1）を用いて、安定した群不変性を形式化する。
• 畳み込みネットワークを、線形フィルタリング（F_i）、点単位非線形性（M）、局所的プーリング（P_i）の段階的連結としてモデル化し、プーリングが群作用を減衰させることで局所的不変性を誘導することを示す。
• 群がフィルタ係数空間における平行移動として作用する場合、畳み込みが群作用と可換になることから、不変性が層間で保持されることを示す。
• 各群因子が特定の層のサブセットと関連付けられ、特定の表現次元上で作用するように、群の半直積による要因分解（G = G₁ ⋊ G₂ ⋊ ... ⋊ Gₛ）を導入する。
• データが群上に一様分布している場合に特に有効な、共分散作用素の固有ベクトルを用いた、データ内に潜む群構造の発見手法を提案する。
• 例えば回転対称性フィルタ（R_θ h₀ による）を強制することで、群不変性を保つフィルタバンクの構造的学習を提案する。

実験結果

リサーチクエスチョン

• RQ1 深層畳み込みニューラルネットワークは、単純な平行移動を越えて、複雑で変形可能な変換に対してどのように安定した不変性を達成できるか？
• RQ2 畳み込みニューラルネットワークのアーキテクチャ（フィルタリング、非線形性、プーリング）とその群作用に対する不変性の間の数学的関係は何か？
• RQ3 層間における群要因分解を用いることで、畳み込みニューラルネットワークの不変性特性を体系的に分解できるか？
• RQ4 特に変形がある状況下で、データそのものからデータセットの潜在的変換群をどのように発見できるか？
• RQ5 一般化と不変性の向上を目的として、フィルタバンクに群構造をどのように組み込むことができるか？

主な発見

• 畳み込みニューラルネットワークにおける局所的不変性は、変換スケールがプーリングスケールに比べて小さい場合、プーリング演算子が群作用を減衰させることによって生じる。
• 群がフィルタ係数空間上で平行移動として作用する場合、畳み込みが群作用と可換になるため、不変性が層間で保持される。
• ネットワークアーキテクチャは、各群因子が特定の層または層の範囲に関連付けられる半直積としての不変性群の要因分解を自然に実装する。
• 表現が変形に対する変化を不変性群からの距離に対して制限するリプシッツ条件（式1）を満たす場合に、安定した不変性が達成される。
• 変形されたデータの大きさの分散を最小化することで、群作用を対角化する固有ベクトルが回復され、群の発見が可能になる。
• 例えば回転対称性（R_θ h₀ による）を尊重する構造的フィルタバンクは、不変性を強制し、一般化を向上させるために学習可能である。