[論文レビュー] Kernelized information bottleneck leads to biologically plausible 3-factor Hebbian learning in deep networks

Roman Pogodin, Peter E. Latham|arXiv (Cornell University)|Jun 12, 2020

Advanced Memory and Neural Computing参考文献 46被引用数 16

ひとこと要約

本稿では、カーネル化された情報ボトルネック枠組みから導かれた、生物学的に妥当な3要因 Hebb 学習ルールを、深層ネットワークに提案する。pHSIC（妥当に計算可能な HSIC 近似）を用いてヒルバート＝シュミット独立性基準を近似することで、前後駆動性の活動とグローバルな誤差信号のみを用いた局所的・レイヤー単位の重み更新が可能となり、誤差逆伝搬法、重み伝搬、正確なラベルの必要性が不要になる。この手法は、MNIST、Fashion-MNIST、Kuzushiji-MNIST、CIFAR10 において、誤差逆伝搬法に近い性能を達成しており、特に除法正規化を組み合わせた場合に顕著である。

ABSTRACT

The state-of-the art machine learning approach to training deep neural networks, backpropagation, is implausible for real neural networks: neurons need to know their outgoing weights; training alternates between a bottom-up forward pass (computation) and a top-down backward pass (learning); and the algorithm often needs precise labels of many data points. Biologically plausible approximations to backpropagation, such as feedback alignment, solve the weight transport problem, but not the other two. Thus, fully biologically plausible learning rules have so far remained elusive. Here we present a family of learning rules that does not suffer from any of these problems. It is motivated by the information bottleneck principle (extended with kernel methods), in which networks learn to compress the input as much as possible without sacrificing prediction of the output. The resulting rules have a 3-factor Hebbian structure: they require pre- and post-synaptic firing rates and an error signal - the third factor - consisting of a global teaching signal and a layer-specific term, both available without a top-down pass. They do not require precise labels; instead, they rely on the similarity between pairs of desired outputs. Moreover, to obtain good performance on hard problems and retain biological plausibility, our rules need divisive normalization - a known feature of biological networks. Finally, simulations show that our rules perform nearly as well as backpropagation on image classification tasks.

研究の動機と目的

• 誤差逆伝搬法の限界を回避する、完全に生物学的に妥当な深層ネットワーク用学習ルールの開発。
• 誤差逆伝搬法の3大生物学的不実現性（重み伝搬、前向き・後向きパスの交互実行、正確なラベルへの依存）の解消。
• 情報ボトルネック原理に基づき、計算が容易な最適化を可能にするカーネル法を用いて学習ルールを導出すること。
• 局所的でスケーラブルであり、除法正規化などの既知の生物学的神経機構と整合する学習ルールの保証。
• 誤差逆伝搬法やラベル付き教師信号なしで、標準的な画像分類ベンチマークで競争力のある性能を示すこと。

提案手法

• 相互情報量をカーネル化された共分散に置き換えることで、局所的学習を可能にする修正されたカーネル化された情報ボトルネック目的関数を用いる。
• ニューロンが複数のデータポイントの活動を記憶する必要がないようにする、妥当なHSIC（pHSIC）を導入する。
• 得られた学習ルールは3要因 Hebb 構造を有する：前シナプス活動、後シナプス活動、出力類似度から導出されるレイヤー固有の誤差信号。
• 誤差信号は、望ましい出力間のペアワイズ類似度から計算され、正確なラベルの必要性がなくなる。
• ハードタスクにおける学習の安定化と生物学的ネットワークダイナミクスとの整合性を高めるために、除法正規化を組み込む。
• レイヤー単位で動作し、隣接レイヤーの活動とグローバルな指導信号のみを用いて重みを更新する。バックワードパスを回避する。

実験結果

リサーチクエスチョン

• RQ1 情報ボトルネック原理から導かれた学習ルールが、深層ネットワークにおいて完全に生物学的に妥当にできるか？
• RQ2 このようなルールが、重み伝搬問題を回避し、前向き・後向きパスの交互実行の必要性を排除し、正確なラベルへの依存を低減できるか？
• RQ3 除法正規化を組み込むことで、挑戦的な画像分類タスクにおける性能が向上するか、かつ生物学的妥当性を維持できるか？
• RQ4 提案された pHSIC を用いたルールの性能は、誤差逆伝搬法や他の生物学的インスピレーションに基づく代替手法と比較してどうか？
• RQ5 この手法は、誤差逆伝搬法やラベル付き教師信号なしで、さまざまなデータセットやネットワークアーキテクチャに一般化可能か？

主な発見

• pHSIC を用いた学習ルールは、MNIST、Fashion-MNIST、Kuzushiji-MNIST において、誤差逆伝搬法の性能から1〜3%以内のテスト精度を達成しており、2倍ワイドなネットワークでは、AdamW とバッチ正規化を用いて CIFAR10 で94.5%の精度に到達した。
• CIFAR10 において、コサイン類似度カーネルと除法正規化を組み合わせた手法は、2倍ワイドなネットワークで90.4%の精度を達成し、フィードバックアライメントやサインシンメトリー法を上回った。
• 除法正規化の導入により、特に SGD を用いた学習において、安定性と性能が顕著に向上し、異なる乱数シード間の分散が低減された。
• 正確なラベルを必要とせず、望ましい出力間のペアワイズ類似度のみに依存して高い性能を達成した。
• pHSIC 目的関数は、元の HSIC 目的関数の有効な上界のまま保たれ、理論的整合性を確保しながら生物学的に妥当な計算を可能にした。
• 訓練ダイナミクスの観察から、pHSIC は入力情報の圧縮を効果的に行いながら、出力の予測力を維持していることが示された。pHSIC 項と HSIC 項の収束が確認された。