[論文レビュー] The Ebb and Flow of Deep Learning: a Theory of Local Learning.

Pierre Baldi, Peter Sadowski|arXiv (Cornell University)|Jun 22, 2015

Neural Networks and Applications参考文献 27被引用数 6

ひとこと要約

本論文は、深層ニューラルネットワークにおける局所学習ルールの理論的枠組みを提案し、それらを前シナプスおよび後シナプス活動などの局所変数の多項式関数としてモデル化する。標準的な誤差逆伝播法が最大のバックワードチャネル容量を達成しており、これは複雑な関数の学習を可能にする。一方、他の局所ルールは失敗し、これが発見された学習ルールの少なさを説明するとともに、ヒブ学習の限界を明確にする。

ABSTRACT

In a physical neural system, where storage and processing are intimately intertwined, the rules for adjusting the synaptic weights can only depend on variables that are available locally, such as the activity of the pre- and post-synaptic neurons, resulting in local learning rules. A systematic framework for studying the space of local learning rules must first define the nature of the local variables, and then the functional form that ties them together into each learning rule. We consider polynomial local learning rules and analyze their behavior and capabilities in both linear and non-linear networks. As a byproduct, this framework enables also the discovery of new learning rules as well as important relationships between learning rules and group symmetries. Stacking local learning rules in deep feedforward networks leads to deep local learning. While deep local learning can learn interesting representations, it cannot learn complex input-output functions, even when targets are available for the top layer. Learning complex input-output functions requires local deep learning where target information is propagated to the deep layers through a backward channel. The nature of the propagated information about the targets, and the backward channel through which this information is propagated, partition the space of learning algorithms. For any learning algorithm, the capacity of the backward channel can be defined as the number of bits provided about the gradient per weight, divided by the number of required operations per weight. We estimate the capacity associated with several learning algorithms and show that backpropagation outperforms them and achieves the maximum possible capacity. The theory clarifies the concept of Hebbian learning, what is learnable by Hebbian learning, and explains the sparsity of the space of learning rules discovered so far.

研究の動機と目的

• 局所変数と多項式関数形に基づいて、ニューラルネットワークにおける局所学習ルールを体系的に分析するフレームワークを形式化すること。
• 線形および非線形ネットワークにおける多項式局所学習ルールの表現能力および学習能力を調査すること。
• 誤差逆伝播法が、ターゲット情報のバックワードチャネル容量を最大化することで、他の局所学習アルゴリズムを上回ることの理由を明確にすること。
• ヒブ学習の限界と、可能なルールの空間における発見された学習ルールの希少性を説明すること。

提案手法

• 前シナプスおよび後シナプス活動の多項式関数として局所学習ルールを定義し、候補ルールの構造的空間を形成する。
• フィードフォワードネットワークにおけるこれらのルールの挙動を分析し、バックワードターゲット伝播なしの深層局所学習と、バックワードターゲット伝播を伴う局所的深層学習の区別を行う。
• 1回の操作あたりの重みごとの勾配情報のビット数として定義されるバックワードチャネル容量という概念を導入し、学習アルゴリズムの効率を定量化する。
• 誤差逆伝播法を含むさまざまな学習アルゴリズムのバックワードチャネル容量を推定し、それらの理論的学習可能性を比較する。
• 群の対称性解析を用いて、学習ルールとその不変性の間の構造的関係を解明する。
• バックワードチャネル容量が非常に高い（誤差逆伝播法など）アルゴリズムのみが、複雑な入出力関数を学習可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 局所学習ルールの理論的空間とは何か。また、局所変数の多項式関数を用いて、その空間を体系的に探査できるか。
• RQ2 トップレイヤーにターゲットが存在する場合でさえ、標準的な深層局所学習ルールが複雑な関数を学習できないのはなぜか。
• RQ3 ターゲット情報のバックワードチャネル容量が、局所学習アルゴリズムの学習能力をどのように決定するか。
• RQ4 情報伝送効率の観点から、誤差逆伝播法は他の局所学習ルールとどのように異なるか。
• RQ5 発見された学習ルールの空間がなぜ極めて希少なのか。また、群の対称性はこの希少性とどのように関係するか。

主な発見

• 多項式局所学習ルールは、新しい学習ルールの発見を可能にする構造的フレームワークを提供し、群の対称性との関係を明らかにする。
• バックワードターゲット伝播なしの深層局所学習では、たとえトップレイヤーにラベル付きのターゲットが存在しても、複雑な入出力関数を学習できない。
• 複雑な関数を学習するには、ターゲット情報のバックワード伝播を伴う局所的深層学習が必要であり、フィードバックの重要性が浮き彫りになる。
• 誤差逆伝播法は、1回の操作あたりの重みごとの勾配ビット数として定義される、最大の可能なバックワードチャネル容量を達成しており、他のすべての局所学習アルゴリズムを上回る。
• 理論的に、ヒブ学習は単純で低次元の表現の学習に限定され、複雑な関数マッピングを捉えることはできない。
• 発見された学習ルールの希少性は、複雑な関数の学習に効果的に寄与できるのは、バックワードチャネル容量が非常に高いルールのわずかな部分集合に限られるという事実によって説明できる。