[論文レビュー] Minimizing Control for Credit Assignment with Strong Feedback

Alexander Meulemans, Matilde Tristany Farinha+3 more|arXiv (Cornell University)|Apr 14, 2022

Neuroinflammation and Neurodegeneration Mechanisms被引用数 4

ひとこと要約

この論文は、強いフィードバック信号を用いて教師ありターゲットに向かってニューラルネットワークを駆動する生物学的に妥当な信用配分手法Strong-DFCを紹介する。最適化を損失の最小化ではなく制御効率の最小化として再定式化することで、完全に局所的かつ時間的に同期された可塑性ルールを用いて、前向きおよびフィードバック重みを同時に学習可能であり、ノイズに強く、視覚ベンチマークで競争力ある性能を達成する。これは、弱いフィードバックや重みの同一化といった生物学的に不実在な仮定を回避する、深層学習に対する制御理論的視点の新規な提供である。

ABSTRACT

The success of deep learning ignited interest in whether the brain learns hierarchical representations using gradient-based learning. However, current biologically plausible methods for gradient-based credit assignment in deep neural networks need infinitesimally small feedback signals, which is problematic in biologically realistic noisy environments and at odds with experimental evidence in neuroscience showing that top-down feedback can significantly influence neural activity. Building upon deep feedback control (DFC), a recently proposed credit assignment method, we combine strong feedback influences on neural activity with gradient-based learning and show that this naturally leads to a novel view on neural network optimization. Instead of gradually changing the network weights towards configurations with low output loss, weight updates gradually minimize the amount of feedback required from a controller that drives the network to the supervised output label. Moreover, we show that the use of strong feedback in DFC allows learning forward and feedback connections simultaneously, using learning rules fully local in space and time. We complement our theoretical results with experiments on standard computer-vision benchmarks, showing competitive performance to backpropagation as well as robustness to noise. Overall, our work presents a fundamentally novel view of learning as control minimization, while sidestepping biologically unrealistic assumptions.

研究の動機と目的

• 皮質ネットワークにおける誤差逆伝播の生物学的不実在性、特に弱いフィードバックと非局所的重み更新に依存する点を解決すること。
• 神経科学で観察される強い上行フィードバックと整合する勾配ベースの信用配分手法を開発すること。これには、厳密に同期された可塑性フェーズを必要としない。
• 皮質微小回路構造と整合する、前向きおよびフィードバック重みを完全に局所的かつ時間的に一致した信号のみで同時に学習可能にする。
• 損失の最小化ではなく、ターゲット出力に到達するための制御効率の最小化が、深層ネットワークにおける原理的最適化目的として機能できることを示すこと。

提案手法

• 従来の出力の弱い補正に代わり、固定された教師ありターゲットにネットワーク活動を一致させるフィードバック制御器を用いる。
• 重み更新は、ターゲットに到達するためのフィードバック制御エネルギーを測定する代替損失関数の負の勾配から導出される。
• 学習ルールは空間的・時間的に完全に局所的であり、各シナプスにおける前ニューロン・後ニューロンの活動およびフィードバック信号にのみ依存する。
• 前向き重みと同時にフィードバック重みも更新され、従来のDFCのような二段階訓練要件が不要になる。
• 強いフィードバックがニューロン活動を顕著に変化させる動的フィードバックメカニズムを活用し、ノイズに強い性能を実現する。
• 理論的分析により、柔軟なフィードバック接続条件のもとで、更新が制御エネルギー損失の負の勾配に従うことが示された。

実験結果

リサーチクエスチョン

• RQ1 弱いフィードバックに依存せず、学習効率を損なわずに、強いフィードバック信号を深層ニューラルネットワークの信用配分に効果的に利用できるか？
• RQ2 ターゲット出力に到達するための制御効率を最小化することで、深層ネットワークにおける効果的かつ安定した学習が可能か？
• RQ3 前向きおよびフィードバック重みを、完全に局所的かつ時間的に一致した可塑性ルールのみで同時に学習可能か？
• RQ4 バックプロパゲーションおよび標準的なDFCと比較して、性能およびノイズ耐性において本手法はどのように異なるか？
• RQ5 同じデータを繰り返し使用する必要がないことから、継続的学習への適応性が示唆されるか？

主な発見

• Strong-DFCは、標準的なコンピュータビジョンベンチマークで競争力ある性能を達成し、バックプロパゲーションに近い精度に到達している。
• 神経動態におけるノイズに強く、高ノイズ条件下ではDFCが安定して学習不能となる状況でも、優れた性能を示している。
• サンプルの再訪問なしに学習を行っても、標準的な学習とほぼ同等の性能が得られ、Strong-DFCが同じデータを繰り返し露出することに依存していないことを示している。
• Strong-DFCの重み更新が、制御損失の真の勾配と高い一致を示しており、本手法の理論的基盤が裏付けられていることを確認している。
• フィードバック入力と前向き入力の大きさ比が同程度であり、フィードバックがニューロン活動の形作りに重要な役割を果たしていることを示している。
• ネットワークの定常状態ダイナミクスとフィードバック行列が一致する条件1が良好に満たされており、理論的仮定が支持されている。