[論文レビュー] On Invariance and Selectivity in Representation Learning

Fabio Anselmi, Lorenzo Rosasco+1 more|arXiv (Cornell University)|Mar 19, 2015

Neural dynamics and brain function参考文献 23被引用数 13

ひとこと要約

本論文は、コンpaktoな群上の非線形群平均を用いて、機械学習における不変かつ選択性を持つ表現の理論的枠組みを提案する。この表現は変換に対して不変であり、かつ変換されたデータポイントに対してのみ同一の出力を割り当てる。主な貢献は、有効な学習問題のサイズを低減することで、低標本複雑性を達成することを数学的に証明することにある。

ABSTRACT

We discuss data representation which can be learned automatically from data, are invariant to transformations, and at the same time selective, in the sense that two points have the same representation only if they are one the transformation of the other. The mathematical results here sharpen some of the key claims of i-theory -- a recent theory of feedforward processing in sensory cortex.

研究の動機と目的

• 教師あり機械学習における高標本複雑性の課題に取り組むために、教師なしの方法でデータ表現を学習すること。
• 変換に対する不変性（不変性）と非同値入力の区別（選択性）という表現学習における二重要件を形式化すること。
• 視覚皮質処理にインspiredされた、数学的に厳密かつ生物学的に現実的な不変表現の理論的基盤を構築すること。
• 多層構造および局所的変換への理論の拡張を行い、畳み込みニューラルネットワークおよび生物学的計算と結びつけること。
• このような表現の教師なし学習が、下流タスクに必要なラベル付き例の数を著しく削減できることを示すこと。

提案手法

• コンパクト群（例：回転）上の非線形群平均を用いて、群作用に対して不変な表現を構築すること。
• ハア測度を用いて不変性を保証し、群平均が群の作用に対して不変であることを証明すること。
• 確率論的結果を用いて選択性を確立し、確率測度をその一様次元投影によって特徴付ける。
• グローバルな群構造を緩和することで局所的変換への拡張を可能にし、群でない変換への応用を可能にする。
• 多層構造に理論を適用し、HMAXや畳み込みネットワークに類似した階層的特徴抽出をモデル化すること。
• プーリング操作のロバスト性を分析し、特徴マップ全体に一貫して適用される非線形性が不変性と選択性を保つことを示すこと。

実験結果

リサーチクエスチョン

• RQ1 変換に対して不変でありながら、変換されたデータポイントにのみ同一の出力を割り当てるという選択性を保つように、データ表現をどのように学習できるか？
• RQ2 群作用の下で表現が不変かつ選択性を持つための数学的条件は何か？
• RQ3 提案された枠組みは、局所的または空間的に変化する変形のような群でない変換へと拡張可能か？
• RQ4 提案された表現学習アプローチは、教師あり学習における標本複雑性をどのように低減するか？
• RQ5 特に視覚皮質およびハブエル＝ヴァイエル細胞モデルと関連して、提案されたアーキテクチャの生物学的妥当性は何か？

主な発見

• コンパクト群上の非線形群平均は、群作用の下で証明可能な不変性と選択性を持つ表現を生成する。
• 選択性は、測度をその一様次元投影によって関連付ける確率論的特徴化定理を用いて確立される。
• 不変性条件を近似的に緩和することで、局所的変換への一般化が可能となり、圧縮センシングの非一様性に類似した条件が得られる。
• 一貫した非線形性を特徴マップ全体に適用するプーリング操作は不変性を保ち、複雑な細胞における多様な非線形性は選択性を向上させる。
• 理論は、樹状棘のヒブエル学習に基づく次元削減の生物学的に現実的なメカニズムを提供し、それらを主成分にチューニングする。
• このアプローチは、大規模なラベル付きデータセットを必要とする教師あり学習から、低標本複雑性の教師なし表現学習への移行を可能にし、人間の学習効率と整合する。