[論文レビュー] A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks

Tommaso Salvatori, Yuhang Song+7 more|arXiv (Cornell University)|Nov 16, 2022

Advanced Data Compression Techniques被引用数 8

ひとこと要約

本稿では、従来の2段階の重み更新プロセスを、同期的で段階的な更新スキームに置き換える、完全に自動的で安定的かつ高速な予測符号化ネットワークの学習アルゴリズム、インクリメンタル予測符号化（iPC）を提案する。iPCは、画像分類および言語モデリングのベンチマークにおいて、標準的な予測符号化および誤差逆伝播法よりも優れた収束性、ハイパーパramータに対するロバストネス、および高いテスト精度を達成しており、インクリメンタル期待値最大化（iEM）に基づく理論的収束保証が与えられている。

ABSTRACT

Predictive coding networks are neuroscience-inspired models with roots in both Bayesian statistics and neuroscience. Training such models, however, is quite inefficient and unstable. In this work, we show how by simply changing the temporal scheduling of the update rule for the synaptic weights leads to an algorithm that is much more efficient and stable than the original one, and has theoretical guarantees in terms of convergence. The proposed algorithm, that we call incremental predictive coding (iPC) is also more biologically plausible than the original one, as it it fully automatic. In an extensive set of experiments, we show that iPC constantly performs better than the original formulation on a large number of benchmarks for image classification, as well as for the training of both conditional and masked language models, in terms of test accuracy, efficiency, and convergence with respect to a large set of hyperparameters.

研究の動機と目的

• 既存の予測符号化（PC）学習アルゴリズムの不安定性、非効率性、ハイパーパramータへの感受性を解消すること。
• 外部の制御信号を用いて推論フェーズと重み更新フェーズを切り替える必要がない、生物学的に現実的な完全自動の学習アルゴリズムを開発すること。
• コンピュータビジョンおよび自然言語処理の両タスクにおいて、多様なハイパーパramータ設定下での学習効率と収束のロバストネスを向上させること。
• インクリメンタル期待値最大化（iEM）フレームワークを用いて、提案されたアルゴリズムの理論的収束保証を提供すること。

提案手法

• iPCアルゴリズムは、神経活動とシナプス重みを段階的に同期的に更新することで、フェーズ切り替えに別個の制御信号を必要としない。
• インクリメンタル期待値最大化（iEM）アプローチを用いて予測符号化の更新ルールを再定式化し、変分自由エネルギーの局所最小値への収束を保証する。
• 階層的生成モデルを活用し、神経状態とシナプス重みの交互更新を、単一で統合された更新スケジュールで行い、変分自由エネルギーを最小化する。
• 推論の学習率は固定で0.5として設定し、バッチごとの推論ステップ数の手動チューニングを一切不要としてエンドツーエンド学習を実現する。
• 特に言語モデル学習において、安定性と性能の向上を図るために、$τ$-修正（フィッシャー情報に基づく）を採用する。
• 残差接続、層正則化（有用な場合）、AdamW や SGD などの最適化手法といった、標準的なディープラーニングコンponentsとも互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 外部の制御信号が不要な、完全に自動的で生物学的に現実的な予測符号化ネットワーク向けの学習アルゴリズムを設計可能か？
• RQ2 神経活動とシナプス重みの更新を同期化することで、標準的な予測符号化と比較して、収束速度の向上と学習安定性の向上が達成できるか？
• RQ3 提案されたインクリメンタル予測符号化（iPC）法は、画像分類および言語モデリングを含む多様なベンチマークで、誤差逆伝播法と同等またはそれ以上の性能を達成できるか？
• RQ4 iPCは、バッチサイズ、学習率、推論ステップ数を含む広範なハイパーパramータ設定において、ロバストネスと収束性を維持できるか？
• RQ5 変分推論と自由エネルギー最小化の文脈において、提案されたインクリメンタル更新スキームの理論的収束特性は何か？

主な発見

• iPCは、CIFAR-10、CIFAR-100、Tiny ImageNetを含むすべての画像分類ベンチマークで、標準的な予測符号化（PC）よりも高いテスト精度を達成し、すべてのハイパーパramータ組み合わせで一貫した改善が見られた。
• ImageNet-1k データセットでは、ResNet-18を用いてトップ-1精度78.4%を達成し、PCを上回り、誤差逆伝播法と同等の性能を示した。
• マスクド言語モデリングでは、iPCのテスト損失は10個のシード平均で93.45であり、PC（934.5）を著しく下回り、BP（83.62）と同等の水準に達した。損失の分散は90%削減された。
• 条件付き言語モデリングでは、iPCのテスト損失は138.5（平均）であり、PC（206.3）を上回り、BP（112.7）に近づいた。平均性能は35%の改善を達成した。
• 画像分類タスクにおいて、iPCは96/96のハイパーパラメータ組み合わせで収束したのに対し、PCは26/96にとどまった。これは、ハイパーパラメータ選択に対する優れたロバストネスを示している。
• 分布シフト（例：損傷を加えたCIFAR-10）下でも、iPCは誤差逆伝播法よりも顕著に優れたモデルキャリブレーションを維持した。これは、分布外の設定でも信頼性の高い性能を示していることを示している。