[論文レビュー] Hebbian learning with gradients: Hebbian convolutional neural networks with modern deep learning frameworks

Thomas Miconi|arXiv (Cornell University)|Jul 4, 2021

Neural Networks and Applications被引用数 9

ひとこと要約

この論文は、補助損失関数を用いることで、現代のディープラーニングフレームワークにおいてヘビアン学習ルール（シンプルヘビアン、グロスバーグのインスターレート、オーイェの法則など）を、目的の重み更新を正確に再現する勾配を持つ形で実装できることを示している。これらの損失関数を活用することで、スパースな可塑性やプルーニングといった干渉を加えた深層畳み込みヘビアンネットワークを訓練し、通常は層を重ねるごとに低下する復号性能を逆転させる顕著な性能向上を達成した。

ABSTRACT

Deep learning networks generally use non-biological learning methods. By contrast, networks based on more biologically plausible learning, such as Hebbian learning, show comparatively poor performance and difficulties of implementation. Here we show that Hebbian learning in hierarchical, convolutional neural networks can be implemented almost trivially with modern deep learning frameworks, by using specific losses whose gradients produce exactly the desired Hebbian updates. We provide expressions whose gradients exactly implement a plain Hebbian rule (dw ~= xy), Grossberg's instar rule (dw ~= y(x-w)), and Oja's rule (dw ~= y(x-yw)). As an application, we build Hebbian convolutional multi-layer networks for object recognition. We observe that higher layers of such networks tend to learn large, simple features (Gabor-like filters and blobs), explaining the previously reported decrease in decoding performance over successive layers. To combat this tendency, we introduce interventions (denser activations with sparse plasticity, pruning of connections between layers) which result in sparser learned features, massively increase performance, and allow information to increase over successive layers. We hypothesize that more advanced techniques (dynamic stimuli, trace learning, feedback connections, etc.), together with the massive computational boost offered by modern deep learning frameworks, could greatly improve the performance and biological relevance of multi-layer Hebbian networks.

研究の動機と目的

• 現代のディープラーニングフレームワークを用いて、生物学的に妥当なヘビアン学習を深層畳み込みニューラルネットワークに実装すること。
• ヘビアンネットワークの高次層において、フィルタ数が増加しても復号性能が低下するという長年の問題に取り組むこと。
• 補助損失関数を用いることで、ヘビアン重み更新を正確に再現する形で、最小限の工学的オーバーヘッドでヘビアン学習を実装できることを示すこと。
• 密な活性化とスパースな可塑性、および層間プルーニングといったアーキテクチャ的介入が、階層的ヘビアンネットワークにおける情報伝達を回復・強化できるかを調査すること。
• 生物学的学習ルールと現代のディープラーニングフレームワークの計算パワーを組み合わせることで、非教師ありおよび自己教師あり学習の新たな道筋を拓くこと。

提案手法

• 標準的なヘビアンルール（シンプルヘビアン：$\Delta w \propto xy$、インスターレート：$\Delta w \propto y(x-w)$、オーイェの法則：$\Delta w \propto y(x - yw)$）を正確に実装する勾配を持つ補助損失関数を用いる。
• 出力$y$を入力$x$、重み$w$、およびオーイェの法則の場合は実際の出力$\hat{y}$の関数として定義し、目的の更新と等価な勾配を得る。
• 活性化をバイナリ化するためのk-WTA（k番目の最大値しきい値処理）を適用し、スパースな可塑性を模倣し、局所的学習ルールを効果的に適用可能にする。
• PyTorchの標準的なバックプロパゲーション機構を用いて補助損失の勾配を計算し、カスタムautograd拡張を一切必要とせず、ヘビアン重み更新を直接得る。
• 2つの主要な干渉を導入する：(1) スパarsityを促進するための「三角法」による活性化計算、(2) 簡単な特徴に過剰適合するのを防ぐための層間接続のプルーニング。
• CIFAR-10を用いて標準的な畳み込み層でネットワークを訓練し、層ごとの性能を評価し、制約なしのネットワークと干渉を加えたネットワークの間で復号精度を比較する。

実験結果

リサーチクエスチョン

• RQ1 カスタムautogradマシンを用いずに、現代のディープラーニングフレームワークを用いて生物学的に妥当なヘビアン学習ルールを深層畳み込みネットワークに実装できるか？
• RQ2 なぜヘビアンネットワークの高次層では、通常、Gabor型のエッジ検出器やボーダーのような単純な特徴しか学習せず、復号性能が低下するのか？
• RQ3 スパースな可塑性やプルーニングといったアーキテクチャ的介入が、ヘビアンネットワークの高次層における情報伝達を回復・向上させられるか？
• RQ4 補助損失関数を用いることで、現代のディープラーニングフレームワーク内において、局所的学習ルールをモジュラーや再利用可能な形で広く実装できるか？
• RQ5 現代の計算リソースと生物学的学習ルールの組み合わせにより、非教師あり学習においてより正確で生物学的に関連性の高い階層的表現を得られるか？

主な発見

• シンプルヘビアン、インスターレート、オーイェの法則を含むヘビアン学習ルールは、現代のディープラーニングフレームワークにおいて、単純な補助損失関数を用いることで、正確な勾配同等性を達成して実装可能である。
• 制約のないヘビアンネットワークでは、高次層が一貫して大規模で単純な特徴（Gabor型エッジ検出器やボーダーなど）を学習し、層を重ねるごとに復号性能が低下する傾向が見られた。
• 密な活性化にスパースな可塑性（k-WTAによる）と層間接続のプルーニングを導入することで、高次層の性能が顕著に向上し、通常の性能低下を逆転させた。
• これらの干渉により、よりスパースで情報量の多い学習済み特徴が得られ、高次層が低次層を上回る復号性能を達成するようになり、ベースラインの挙動とは逆転した。
• 著者らは、現代のディープラーニングフレームワークを用いることで、最小限の実装オーバーヘッドで複雑なヘビアンネットワークを迅速にプロトタイピング可能であることを示した。
• 標準的な訓練パイプラインを維持しつつ、生物学的に妥当な学習を実現できるため、非教師ありおよび自己教師あり表現学習のための有望な道筋が示された。