[論文レビュー] Biological credit assignment through dynamic inversion of feedforward networks

William F. Podlaski, Christian K. Machens|arXiv (Cornell University)|Jul 10, 2020

Neural dynamics and brain function参考文献 61被引用数 8

ひとこと要約

この論文は、固定のフィードバック重みを用いた安定な再帰的ダイナミクスを介して誤差信号を後退的に伝播させることで、バックプロパゲーションや重み輸送を回避する、生物学的に現実的な信用配分メカニズムを、深層フィードフォワードネットワークにおいて提案する。動的逆転を用いることで、学習されたフィードバック接続の必要性を排除し、バックプロパゲーションなしで正確な重み更新を達成する。教師ありおよびオートエンコーダタスクにおいて優れた性能を示し、フィードバック制御および2次最適化の原則と関連している。

ABSTRACT

Learning depends on changes in synaptic connections deep inside the brain. In multilayer networks, these changes are triggered by error signals fed back from the output, generally through a stepwise inversion of the feedforward processing steps. The gold standard for this process -- backpropagation -- works well in artificial neural networks, but is biologically implausible. Several recent proposals have emerged to address this problem, but many of these biologically-plausible schemes are based on learning an independent set of feedback connections. This complicates the assignment of errors to each synapse by making it dependent upon a second learning problem, and by fitting inversions rather than guaranteeing them. Here, we show that feedforward network transformations can be effectively inverted through dynamics. We derive this dynamic inversion from the perspective of feedback control, where the forward transformation is reused and dynamically interacts with fixed or random feedback to propagate error signals during the backward pass. Importantly, this scheme does not rely upon a second learning problem for feedback because accurate inversion is guaranteed through the network dynamics. We map these dynamics onto generic feedforward networks, and show that the resulting algorithm performs well on several supervised and unsupervised datasets. Finally, we discuss potential links between dynamic inversion and second-order optimization. Overall, our work introduces an alternative perspective on credit assignment in the brain, and proposes a special role for temporal dynamics and feedback control during learning.

研究の動機と目的

• バックプロパゲーションにおける生物学的非現実性、特に正確な重み対称性の要請やフィードバック接続の学習を解決すること。
• 反復的なフィードバック重みの学習に依存せず、前向パスとフィードバックパス間の動的相互作用に基づく信用配分メカニズムを開発すること。
• 安定なネットワークダイナミクスが、前向き変換を正確に逆転できることを示し、追加の学習段階を必要とせずに効果的な誤差の逆伝播を可能にすること。
• 動的逆転と2次最適化の関係を探索し、神経計算における生物学的関連性の可能性を示すこと。

提案手法

• 誤差の逆伝播をフィードバック制御問題として定式化し、前向き重みを動的システムに再利用して前向き変換を逆転する。
• 固定またはランダムなフィードバック重みを用いた動的逆転機構を導入し、制御則によって支配される再帰的ダイナミクスを介して誤差信号を後退的に伝播する。
• コアとなる方程式は、後退パスを安定な動的システムとしてモデル化する：$ \dot{\mathbf{\delta}}_l = -\mathbf{M}_l \mathbf{\delta}_l + \mathbf{D}_l \mathbf{M}_l \mathbf{\delta}_{l+1} $、収束が正しい勾配方向に保証される。
• Hessian行列の明示的逆転や重み輸送を回避し、動的システムの内在的安定性に依存して正確な逆転を保証する。
• 標準的な深層フィードフォワードネットワークにアルゴリズムをマッピングし、動的に計算された誤差信号を用いて勾配降下法で学習する。
• 教師あり分類およびオートエンコーダタスクで評価され、固定フィードバック重みを用いても競争力のある性能を示している。

実験結果

リサーチクエスチョン

• RQ1 学習されたフィードバック重みがなくても、深層フィードフォワードネットワークにおいて誤差信号を効果的に後退的に伝播させることができるか？
• RQ2 安定な動的システムを用いて、生物学的に現実的な方法で前向き変換を逆転させることができるか？
• RQ3 動的逆転は、重み輸送問題を回避しながらも、標準的なバックプロパゲーションと同等の性能を達成できるか？
• RQ4 動的逆転と2次最適化手法との関係は何か？
• RQ5 このメカニズムは、より複雑なアーキテクチャや生物学的神経回路へと拡張可能か？

主な発見

• 動的逆転手法は、固定またはランダムなフィードバック重みのみを用いてシナプスへの信用配分に成功し、フィードバック接続の2番目の学習問題の必要性を排除した。
• 教師あり学習タスクおよびオートエンコーダ学習において、重み輸送を回避しながらも効果的な誤差の逆伝播を実現し、競争力のある性能を示した。
• 動的システムの安定収束により、正確な勾配近似が保証され、性能は制御ダイナミクスおよびフィードバック重みの初期化に依存する。
• このアプローチは数学的に2次最適化と関連しており、学習における収束性および条件数の改善の可能性を示唆している。
• トップダウンフィードバックや活動の階層的遅延といった既知の生物学的制約と整合しており、皮質回路における妥当性を支持している。
• 有望な結果を示しているが、2次手法に類似した慎重な更新方向のため、収束が遅い傾向にある。