[論文レビュー] A Theoretical Framework for Inference Learning

Nick Alonso, Beren Millidge+2 more|arXiv (Cornell University)|Jun 1, 2022

Neural Networks and Applications被引用数 8

ひとこと要約

本稿では、推論学習（IL）が、標準的な誤差逆伝播法（BP）よりも安定性に優れる、より安定した最適化手法である、implicit stochastic gradient descent（implicit SGD）に非常に近似的に近づく理論的枠組みを提示する。著者らは、implicit SGDにさらに近づくよう設計された、新たなILの変種であるIL-proxを導出する。これにより、学習率の範囲が広がり、小規模ミニバッチでも収束が著しく速くなり、大バッチでのタスクではBPと同等の性能を達成する。

ABSTRACT

Backpropagation (BP) is the most successful and widely used algorithm in deep learning. However, the computations required by BP are challenging to reconcile with known neurobiology. This difficulty has stimulated interest in more biologically plausible alternatives to BP. One such algorithm is the inference learning algorithm (IL). IL has close connections to neurobiological models of cortical function and has achieved equal performance to BP on supervised learning and auto-associative tasks. In contrast to BP, however, the mathematical foundations of IL are not well-understood. Here, we develop a novel theoretical framework for IL. Our main result is that IL closely approximates an optimization method known as implicit stochastic gradient descent (implicit SGD), which is distinct from the explicit SGD implemented by BP. Our results further show how the standard implementation of IL can be altered to better approximate implicit SGD. Our novel implementation considerably improves the stability of IL across learning rates, which is consistent with our theory, as a key property of implicit SGD is its stability. We provide extensive simulation results that further support our theoretical interpretations and also demonstrate IL achieves quicker convergence when trained with small mini-batches while matching the performance of BP for large mini-batches.

研究の動機と目的

• 推論学習（IL）の優れた性能と生物学的妥当性にもかかわらず、その理論的裏付けが不足していることの解消を目的とする。
• 損失が大きい初期学習段階において、ILと誤差逆伝播法（BP）の最適化ダイナミクスの違いを明確にすることを目的とする。
• ILの安定性とBPに対する性能優位性を説明する数学的根拠に基づく枠組みを構築することを目的とする。
• implicit SGDにさらに近づくよう設計された、新たなILの変種、IL-proxを設計することを目的とする。
• 理論的主張を、教師ありおよび自己教師ありタスクにおける広範なシミュレーションにより検証することを目的とする。

提案手法

• 最適化行動の理論的分析を可能とするために、一般化されたIL（G-IL）の形式を導出する。
• 理論的に、G-ILが、優れた安定性で知られるimplicit stochastic gradient descent（implicit SGD）を近似することを示す。
• ILがimplicit SGDを正確に再現するための特定の学習ルールおよびハイパーパrameter設定（例：γbot, γtop, ε）を同定し、これによりIL-proxアルゴリズムが導かれる。
• 正規化された学習率と安定性項（ε）を用いて、proximal型の更新を強制する、ILの改良版実装としてIL-proxを導入する。
• 理論的分析と実証的検証を組み合わせ、MNISTやCIFAR-10などの複数のデータセットおよび複数の学習環境において、IL-proxとBP、IL-SGD、その他の変種を比較する。
• ハイパーパrameterと学習率のアブレーションスタディを実施し、提案手法の変更が及える影響を明確に分離する。

実験結果

リサーチクエスチョン

• RQ1 推論学習（IL）は、明示的およびimplicitな確率的勾配降下法といった、標準的な最適化手法とどのように関係しているか？
• RQ2 損失が大きい初期学習段階において、ILはBPから著しく逸脱しているにもかかわらず、なぜ安定した学習が可能なのか？
• RQ3 標準的なILアルゴリズムにどのような修正を加えることで、implicit SGDにさらに近づけるか？
• RQ4 implicit SGDを近似することで、生物学的に現実的な学習環境におけるILの安定性と収束速度が向上するか？
• RQ5 小規模ミニバッチでの学習において、IL-proxはBPおよび標準的なILの変種を上回る安定性と収束性能を示せるか？

主な発見

• ILは、その頑健性を説明する重要な理論的知見として、implicit stochastic gradient descent（implicit SGD）に非常に近似的に近づくことが判明した。
• implicit SGDにより近づくよう設計されたIL-proxは、特に100のような高い学習率を含む広範な学習率範囲で、著しく向上した安定性を示した。
• 小規模ミニバッチ（例：サイズ1）で学習した場合、IL-proxはBPよりも速やかに収束する。これは、ストリーミングまたはオンライン学習環境での利点を示している。
• 大規模ミニバッチ設定（例：64）では、IL-proxはBPと同等の性能を維持し、競争力のある正確性を確認した。
• 理論的分析により、IL-proxがproximal更新ルールを強制していることが確認され、これが安定性とimplicit SGDへの整合性に寄与している。
• 実証的結果から、IL-proxはMNISTおよびCIFAR-10の両方で、高学習率における安定性テストにおいて、標準的なILおよびBPを上回ることが示された。