[論文レビュー] Continual Backprop: Stochastic Gradient Descent with Persistent Randomness

Shibhansh Dohare, Richard S. Sutton+1 more|arXiv (Cornell University)|Aug 13, 2021

Domain Adaptation and Few-Shot Learning被引用数 13

ひとこと要約

この論文は、誤差逆伝播法（Backprop）を用いた確率的勾配降下法が、一回だけ行われるランダムな重み初期化の影響により、非ステーションナリィな学習環境において時間とともに適応能力が低下する『衰退的可塑性』を示している。これを解決するために、著者らは継続的逆伝播（Continual Backprop, CBP）を提案する。CBPは生成・テスト機構を用いて継続的にランダム特徴量を注入する新規なアルゴリズムであり、数千回の非ステーションナリィな変化が生じる教師ありおよび強化学習タスクにおいても、持続的な適応が可能である。

ABSTRACT

The Backprop algorithm for learning in neural networks utilizes two mechanisms: first, stochastic gradient descent and second, initialization with small random weights, where the latter is essential to the effectiveness of the former. We show that in continual learning setups, Backprop performs well initially, but over time its performance degrades. Stochastic gradient descent alone is insufficient to learn continually; the initial randomness enables only initial learning but not continual learning. To the best of our knowledge, ours is the first result showing this degradation in Backprop's ability to learn. To address this degradation in Backprop's plasticity, we propose an algorithm that continually injects random features alongside gradient descent using a new generate-and-test process. We call this the \ extit{Continual Backprop} algorithm. We show that, unlike Backprop, Continual Backprop is able to continually adapt in both supervised and reinforcement learning (RL) problems. Continual Backprop has the same computational complexity as Backprop and can be seen as a natural extension of Backprop for continual learning.

研究の動機と目的

• 非ステーションナリィな学習環境において、多くの分布シフトが生じる状況でBackpropがなぜ失敗するかを調査すること。
• 初期のランダム重み初期化の利点が持続されず、時間経過とともにモデルの適応能力が低下することを特定すること。
• スケーラブルで計算的に効率的なアルゴリズムを開発し、動的環境における継続的適応を維持すること。
• 標準的な正則化（例：L2）が、極めて非ステーションナリィな問題における長期的適応には不十分であることを示すこと。
• Backpropにおける『衰退的可塑性』問題を解決することで、将来の堅牢な継続的学習アルゴリズムの基盤を築くこと。

提案手法

• Backpropの拡張として、訓練中を通じて持続的なランダム性を統合する継続的逆伝播（CBP）を提案する。
• 生成・テスト機構を採用：生成器が新しいランダム特徴量を提案し、テスト器がその有用性を評価して低有用な特徴量を置き換える。
• ヒューリスティックに基づくテスト器を用いて、有用性が低い特徴量を特定・置き換え、継続的な特徴量の多様性と可塑性を確保する。
• 標準的なBackpropと同等の計算複雑度を維持しており、現代のディープラーニングフレームワークとの互換性を保つ。
• 半ステーションナリィな問題（例：変更されたMNIST）や強化学習（スリップリーアント環境）の両方のタスクにCBPを適用する。
• ポリシー勾配法（例：PPO）とCBPを統合し、非ステーションナリィな強化学習タスクにおける継続的適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非ステーションナリィな学習問題において、多くの分布シフトが生じる状況で、Backpropは時間経過とともに適応能力を失うのか？
• RQ2 強力な初期性能を示すにもかかわらず、なぜBackpropは継続的学習において失敗するのか？
• RQ3 持続的なランダム特徴量の注入によって、動的環境におけるモデルの可塑性を回復・維持できるか？
• RQ4 長期的適応性において、CBPは標準的なBackpropおよびL2正則化付きBackpropと比べてどのように異なるか？
• RQ5 CBPは、極めて非ステーションナリィな状況下において、教師あり学習および強化学習の両方で効果的に適用可能か？

主な発見

• 非ステーションナリィな問題において、適切な初期化が行われてもBackpropは時間経過とともに顕著な性能低下を示し、『衰退的可塑性』の問題が顕在化する。
• 数千回の非ステーションナリィな変化が生じる半ステーションナリィな問題において、Backpropのテスト精度は初期学習後に著しく低下するが、CBPは高い性能を維持する。
• 変更されたMNISTタスクにおいて、CBPは標準的なBackpropおよびL2正則化付きBackpropを上回り、順次的なデータシフトに対しても持続的な精度を維持する。
• 非ステーションナリィな強化学習環境（スリップリーアント）において、CPPO（継続的PPO）はPPOおよびPPO+L2の両方を上回り、性能の低下が著しく遅れる。
• L2正則化は多くの非ステーションナリィな状況で適応能力を維持できないことが判明し、CBPの動的特徴量注入に比べてその限界が明確になる。
• CBPは、標準的なBackpropと同等の計算複雑度を維持しながら、ベースライン手法と同等またはそれ以上の性能を達成する。