[論文レビュー] Progress & Compress: A scalable framework for continual learning

Jonathan Schwarz, Jelena Luketina+5 more|arXiv (Cornell University)|May 16, 2018

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、プログレスフェーズで新しいタスクを学習するアクティブコラム（進捗段階）と、固定された知識ベースに知識を蒸留する際に以前のスキルを保護する修正版エラスティックウェイトコンsolidation（EWC）手法を用いる、スケーラブルな継続的学習フレームワーク「プログレス＆コンプレス（P&C）」を提案する。このアプローチは、最小限の忘却とパラメータの増加なしに優れた性能を達成し、アタリゲームや3Dナビゲーションを含む順序付き画像分類および強化学習タスクにおいて、先行手法を上回る結果を示した。

ABSTRACT

We introduce a conceptually simple and scalable framework for continual learning domains where tasks are learned sequentially. Our method is constant in the number of parameters and is designed to preserve performance on previously encountered tasks while accelerating learning progress on subsequent problems. This is achieved by training a network with two components: A knowledge base, capable of solving previously encountered problems, which is connected to an active column that is employed to efficiently learn the current task. After learning a new task, the active column is distilled into the knowledge base, taking care to protect any previously acquired skills. This cycle of active learning (progression) followed by consolidation (compression) requires no architecture growth, no access to or storing of previous data or tasks, and no task-specific parameters. We demonstrate the progress & compress approach on sequential classification of handwritten alphabets as well as two reinforcement learning domains: Atari games and 3D maze navigation.

研究の動機と目的

• 新しいタスクを学習する際に、以前に学習したタスクを忘れるという、継続的学習における深刻な忘却問題に対処すること。
• 以前に学習したタスクからの知識を活用して、新しいタスクの学習を加速させることで、前向きの転送を実現すること。
• パラメータの増加、データの保存、タスク固有のパラメータを回避することで、増加するタスク数に対してもスケーラブルであることを保証すること。
• 新しい関連タスクを学習した後、以前のタスクのパフォーマンスが向上するような、後向きの転送をサポートすること。
• タスクラベルや明示的なタスク境界を必要とせず、現実世界の連続的学習シナリオに適した運用を可能にすること。

提案手法

• フレームワークは、固定サイズのニューラルネットワークコンponentを2つ使用する：過去に学習したスキルを格納する知識ベース（KB）と、進捗段階で新しいタスクを学習するアクティブコラム（AC）。
• 進捗段階では、アクティブコラムのパラメータのみが更新され、知識ベースは凍結されたままとなる。側面的でレイヤーワイズの接続により、KBからACへの特徴の再利用が可能となり、前向きの転送が実現される。
• コンプレス段階では、アクティブコラムのポリシーまたは予測を蒸留することで知識ベースが更新され、深刻な忘却を防ぐために修正版EWC正則化が適用される。
• EWC正則化はオンラインで適用され、忘却と統合のバランスを取るために減衰係数γが用いられ、蒸留段階での以前に学習した知識の保護が行われる。
• 進捗段階とコンプレス段階が交互に繰り返され、記憶統合を模倣する人間の睡眠・覚醒サイクルに類似した動作が実現される。
• 本手法は、過去のデータへのアクセスや保存、アーキテクチャの拡張、タスク固有のパラメータを一切必要とせず、多数のタスクにスケーラブルに拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 継続的学習フレームワークは、過去のデータを保存せず、ネットワークのサイズが増加しない条件下でも、強い前向きの転送を実現し、深刻な忘却を最小限に抑えることができるか？
• RQ2 標準的な微調整や正則化ベースの手法と比較して、交互に繰り返される進捗－コンプレスサイクルは、忘却度と学習速度の観点でどのように異なるか？
• RQ3 本フレームワークは、新しいタスクを学習した後、以前のタスクのパフォーマンスが向上する程度まで、後向きの転送をどの程度実現できるか？
• RQ4 オンラインEWCに減衰機構を導入することで、標準的またはオフラインEWCと比較して、継続的学習におけるパフォーマンスと安定性が向上するか？
• RQ5 パラメータの爆発やパフォーマンスの低下が生じないよう、多数のタスクに効果的にスケーリングできるか？

主な発見

• 順次MNISTおよびOmniglotタスクにおいて、P&Cは5つのタスクで平均82.84%の精度を達成し、EWC（75.96%）とオンラインEWC（79.15%）を上回ったが、使用パラメータ数は著しく少なかった。
• アタリ強化学習では、複数のゲームで顕著なパフォーマンス向上を示し、平均最終スコアはすべてのベースラインを上回ったが、オンラインEWCを除いては優位であった。
• 本手法は効果的な前向きの転送を示し、新しい関連タスクを学習した後、以前のタスクのパフォーマンスが向上した。これは、成功した後向きの転送を示している。
• 減衰係数γ = 0.99を用いたオンラインEWCにより、蒸留段階での制御された忘却が可能となり、EWCが知識ベースに課す制約を弱めることで、全体のパフォーマンスが向上した。
• P&Cは659Kパラメータの固定モデルサイズを維持しており、Progressive Networks（11.1M）よりも顕著に小さく、タスク固有のパラメータやデータ保存を必要としないため、多数のタスクにスケーラブルである。
• 実験的結果から、再遭遇時のタスクに対してある程度の忘却を許容することで（γを低くすることで）、最終的なパフォーマンスが向上することが示された。これは、EWCの制約が適切にチューニングされない場合、過剰に制限的になり得ることを示唆している。