[論文レビュー] On the effect of pooling on the geometry of representations

Gary Bécigneul|arXiv (Cornell University)|Mar 20, 2017

Digital Image Processing Techniques参考文献 21被引用数 3

ひとこと要約

この論文はI理論を用いた微分幾何学的枠組みにおいて、群変換のプーリングが学習された表現の計量を収縮させ、曲率を低下させることを示し、深層ネットワークおよび生物学的視覚系におけるデコンポジション（分離表現）を促進するメカニズムを幾何学的に説明する。主な貢献は、計量収縮に関する定量的バインディングであり、不変性と改善された表現幾何学の関連を明確にしている。

ABSTRACT

In machine learning and neuroscience, certain computational structures and algorithms are known to yield disentangled representations without us understanding why, the most striking examples being perhaps convolutional neural networks and the ventral stream of the visual cortex in humans and primates. As for the latter, it was conjectured that representations may be disentangled by being flattened progressively and at a local scale. An attempt at a formalization of the role of invariance in learning representations was made recently, being referred to as I-theory. In this framework and using the language of differential geometry, we show that pooling over a group of transformations of the input contracts the metric and reduces its curvature, and provide quantitative bounds, in the aim of moving towards a theoretical understanding on how to disentangle representations.

研究の動機と目的

• 深層ネットワークおよび霊長目の腹側ストリームにおけるプーリングが、理論的根拠が限定的であるにもかかわらず、なぜ分離表現を生じさせるのかを理解すること。
• 微分幾何学とI理論を用いて、表現学習における不変性の役割を形式化すること。
• 群変換のプーリングが表現空間の計量と曲率に与える影響を定量的に分析すること。
• プーリングによる計量収縮および曲率低減の理論的バインディングを提供し、デコンポジションの幾何学的理論を発展させること。

提案手法

• I理論の枠組みを用いて、入力空間における群軌道の平均化としてプーリングを形式化する。
• 表現をリーマン多様体としてモデル化し、プーリングが誘導される計量テンソルに与える影響を分析する。
• 微分幾何学的手法を用いて、プーリング後の計量と曲率の変化を解析的に導出する。
• 平行移動や回転などの群作用に理論を適用し、計量テンソルの収縮を示す。
• 曲率のバインディングを用いて、プーリングが表現空間の幾何学的複雑性をどのように低減するかを定量的に評価する。
• 計量収縮が霊長目視覚径路における段階的平坦化と関連することを示し、生物学的妥当性を接続する。

実験結果

リサーチクエスチョン

• RQ1 群変換のプーリングは、深層ネットワークにおける学習済み表現の計量構造にどのように影響するか？
• RQ2 プーリングは表現多様体の曲率をどの程度低減させ、その低減はどのように定量的に測定できるか？
• RQ3 微分幾何学とI理論を用いて、プーリングの幾何的効果を形式化し、デコンポジションを説明できるか？
• RQ4 不変性、計量収縮、表現のデコンポジションの間にはどのような関係があるか？
• RQ5 表現空間におけるこれらの幾何的変化は、霊長目の腹側ストリームで観察される階層的処理とどのように整合するか？

主な発見

• 群軌道のプーリングは、表現空間のリーマン計量を収縮させ、類似特徴間の有効距離を短くする。
• プーリング後に表現多様体の曲率が体系的に低減され、より平坦で構造的な幾何学的性質が得られる。
• 群作用と入力特徴の分布に依存する計量収縮係数の定量的バインディングが導出された。
• 曲率の低減は、表現が線形分離に適した性質を獲得することを示唆し、デコンポジションを支援する。
• プーリングの幾何的効果は、V1からIT皮質へと至る霊長目視覚径路における段階的平坦化と不変性と整合的である。
• 結果として、教師なし学習でさえも、プーリングが分離表現を生じさせる理由について理論的基盤が提供された。