[論文レビュー] Towards Scaling Difference Target Propagation by Learning Backprop Targets

Maxence Ernoult, Fabrice Normandin+6 more|arXiv (Cornell University)|Jan 31, 2022

Advanced Memory and Neural Computing被引用数 8

ひとこと要約

本稿では、差分ターゲット伝搬（DTP）のための新しいフィードバック重み学習方式を提案する。この方式は、フィードバック経路と転置フィードフォワード経路の層ごとのヤコビアン一致を保証し、DTPがバックプロパゲーション（BP）に近い性能を達成しつつ生物学的に妥当な学習法を維持できるようにする。本手法はCIFAR-10（85.33%の正確度）およびImageNet 32×32（トップ5正確度60.54%）で最先端の性能を達成し、スケーラブルで生物学的に妥当な学習アルゴリズムとして、BPに近い性能に迫っている。

ABSTRACT

The development of biologically-plausible learning algorithms is important for understanding learning in the brain, but most of them fail to scale-up to real-world tasks, limiting their potential as explanations for learning by real brains. As such, it is important to explore learning algorithms that come with strong theoretical guarantees and can match the performance of backpropagation (BP) on complex tasks. One such algorithm is Difference Target Propagation (DTP), a biologically-plausible learning algorithm whose close relation with Gauss-Newton (GN) optimization has been recently established. However, the conditions under which this connection rigorously holds preclude layer-wise training of the feedback pathway synaptic weights (which is more biologically plausible). Moreover, good alignment between DTP weight updates and loss gradients is only loosely guaranteed and under very specific conditions for the architecture being trained. In this paper, we propose a novel feedback weight training scheme that ensures both that DTP approximates BP and that layer-wise feedback weight training can be restored without sacrificing any theoretical guarantees. Our theory is corroborated by experimental results and we report the best performance ever achieved by DTP on CIFAR-10 and ImageNet 32$ imes$32

研究の動機と目的

• 既存の差分ターゲット伝搬（DTP）変種が性能が低くスケーラビリティに欠けるため、CIFAR-10 や ImageNet 32×32 のような複雑なタスクにスケーラブルに適用可能な生物学的に妥当な学習アルゴリズムを開発すること。
• DTPにおけるフィードバック経路のシナプス重みの層ごとの学習を回復させることで、生物学的により妥当な学習を実現し、理論的保証を維持すること。
• 新しいフィードバック重み学習方式により、層ごとのバックプロパゲーションターゲットを学習することで、DTPの重み更新がバックプロパゲーション（BP）の更新に近づくようにすること。
• 現実的で逆行列がとれないネットワークアーキテクチャにおいても成り立つ、DTPとガウス・ニュートン最適化との理論的関係を確立すること。

提案手法

• フィードバック演算子のヤコビアンがフィードフォワード経路のヤコビアンの転置と一致するよう（ヤコビアン一致条件、JMC）、フィードバック重みを学習するためのローカル差分再構成損失（L-DRL）を導入する。
• L-DRLを最小化する別々の最適化ループを用いてフィードバック重みを学習し、フィードバック経路が層ごとにフィードフォワード経路を逆転させるように学習することを保証する。
• 学習されたフィードバック重みを用いてターゲット値をフィードバック経路に伝搬し、活性化の差分（δⁿ ∝ tⁿ − sⁿ）により局所的な誤差信号を生成することで、バックプロパゲーション勾配を近似する。
• JMCのもとでDTPのフィードフォワード重み更新ルールがBPの更新に近づくように保証し、勾配一致性質（GMP）を確立する。
• 標準的なトレーニングプロトコルに従い、1バッチあたり複数回のフィードバック更新を用いて、CIFAR-10およびImageNet 32×32における6層のVGGに類似したネットワークを含む深層アーキテクチャに本手法を適用する。
• アブレーションスタディを通じて、DTPとBPの重み更新方向のなす角を比較し、提案手法がより良い勾配整合性を示すことを確認する。

実験結果

リサーチクエスチョン

• RQ1 生物学的に妥当な学習アルゴリズムとしてのDTPが、CIFAR-10 や ImageNet 32×32 のような複雑なビジョンタスクでバックプロパゲーションに匹敵する性能を達成できるか？
• RQ2 理論的保証や性能を損なわせることなく、DTPにおける層ごとのフィードバック重み学習を回復させられるか？
• RQ3 フィードバック重みを通じてバックプロパゲーションに類似したターゲットを学習することで、従来のDTP変種と比較してDTPとBPの重み更新の整合性が向上するか？
• RQ4 直接的なフィードバック接続を必要とせず、層ごとにヤコビアン一致条件（JMC）を強制できるか。生物学的妥当性を保持できるか？

主な発見

• 提案されたDTP手法はCIFAR-10で85.33%の正確度を達成し、以前に報告された最高のDTP性能（p-DDTPの72.15%）よりも約13%高く、BPベースライン（86.34%）から1%以内に近い。
• ImageNet 32×32では60.54%のトップ5正確度を達成し、BPベースライン（61.25%）から1%以内であり、このベンチマークでBP性能に迫る最初のDTP結果である。
• 提案手法では、s-DDTP や p-DDTP と比較して、DTPとBPの重み更新方向のなす角が顕著に小さく、初期層では最大で15°も小さい。これは、より良い勾配整合性を示している。
• ローカル差分再構成損失（L-DRL）は、DTPが理論的保証のもとでBPを近似できるために必要なヤコビアン一致条件（JMC）を満たすフィードバック重みを効果的に学習した。
• 複数のランダムシードにおいても、標準偏差が小さい（例：CIFAR-10で0.32）ことから、学習が一貫的かつ信頼性が高いことが示された。
• 結果として、フィードバック重みを通じてバックプロパゲーションターゲットを学習することで、深層アーキテクチャでさえも、スケーラブルで生物学的に妥当な学習が可能となり、BPに非常に近い性能が達成されることを示した。