[論文レビュー] Evaluating Online Continual Learning with CALM

Germán Kruszewski, Ionut Sorodoc+1 more|arXiv (Cornell University)|Apr 7, 2020

Machine Learning and Algorithms参考文献 62被引用数 7

ひとこと要約

この論文は、明示的なタスク境界なしに言語やドメインが交互に現れるテキストストリームを想定した、オンライン継続的学習を対象とするクラスに依存しない継続的言語モデリングベンチマークCALMを紹介する。損失の急増（loss spikes）を用いた災難的忘却の測定法を新たに提案し、潜在的な類似性を学習する「プラスティックゲート」と呼ばれるゲーティング機構を導入。この機構により、Products of Expertsモデルの性能が向上し、忘却が著しく減少し、分布シフトへの適応性が向上する。

ABSTRACT

Online Continual Learning (OCL) studies learning over a continuous data stream without observing any single example more than once, a setting that is closer to the experience of humans and systems that must learn "on-the-wild". Yet, commonly available benchmarks are far from these real-world conditions, because they explicitly signal different tasks, lack latent similarity structure or assume temporal independence between different examples. Here, we propose a new benchmark for OCL based on language modelling in which input alternates between different languages and domains without any explicit delimitation. Additionally, we propose new metrics to study catastrophic forgetting in this setting and evaluate multiple baseline models based on compositions of experts. Finally, we introduce a simple gating technique that learns the latent similarities between different inputs, improving the performance of a Products of Experts model.

研究の動機と目的

• 自然言語におけるオンライン継続的学習のための現実的でないベンチマークの欠如、特に時間的依存性、潜在的な類似性、明示的なタスク境界の欠如を解決すること。
• 人間が経験するような現実世界の継続的学習状況をよりよく反映する新たな評価フレームワークの開発。
• 精度の低下だけでなく、分布シフト発生時の損失の急増（loss spikes）の大きさを用いて、災難的忘却を定量化するメトリクスの提案。
• この新しい設定におけるベースラインモデルの評価と、入力クラス間の潜在的類似性を捉えることで、適応性を向上させ、忘却を低減する新たなゲーティング機構の提案。

提案手法

• 明示的なタスク境界なしに、文字ベース（5言語）および語彙ベース（4ドメイン）の2つのバリアントを持つ継続的言語モデリングベンチマークCALMを提案。
• 分布シフト発生時の損失の急増の大きさに基づく、オンライン環境における災難的忘却の定量化に向けた新たなメトリクスを設計。
• 入力を関連するエキスパートに動的にルーティングするため、学習可能なゲーティング機構を備えたProducts of Experts（PoE）アーキテクチャを採用。
• 入力クラス間の潜在的類似性を学習するシンプルなゲーティング戦略「プラスティックゲート」を導入。これにより、モデルの適応性が向上し、忘却が減少する。
• ゲーティング機構の混合重みを用いて、学習された類似性を分析し、それが元の言語的構造を反映していることを検証。
• ゲートベクトルに階層的クラスタリングを適用し、学習された類似性が既知の言語系統と一致することを検証。

実験結果

リサーチクエスチョン

• RQ1 明示的なタスク境界がなく、クラス間の潜在的類似性を含む、オンライン継続的学習における自然言語のための現実的でないベンチマークをどのように設計できるか？
• RQ2 ストリーミングかつクラスに依存しない設定で分布シフトに直面した際、既存のモデルがどれほど災難的忘却を経験するか？
• RQ3 入力クラス間の潜在的類似性を捉えることで、学習可能なゲーティング機構がProducts of Expertsモデルのオンライン継続的学習における性能を向上させられるか？
• RQ4 学習されたゲーティングパターンは、入力データの既知の構造的関係（例：言語系統）を反映しているか？
• RQ5 異なるデータストリーム設定（例：MultiLingual対 MultiDomain）は、知識の転送可能性と忘却の度合いにどのように影響を与えるか？

主な発見

• 言語間の統計的乖離が著しいMultiLingualベンチマークでは知識転送が制限されるが、より洗練された類似性を有するMultiDomainベンチマークでは顕著な転送が可能である。
• PoE+プラスティックゲートモデルは、特にクラス切り替えへの適応において、標準的なベースラインを上回る性能を示し、関連するエキスパートに効果的に入力をルーティングしている。
• 損失の急増解析から、プラスティックゲートが災難的忘却ピークの大きさを低減していることが判明し、分布シフト発生時における安定性が向上していることが示唆される。
• 学習されたゲートベクトルは、既知の言語系統と強く相関している—例えばスペイン語とフランス語は類似したモジュール使用パターンを示し、階層的クラスタリングにより言語グループが回復されている。
• ゲート重みがほぼゼロに近いモジュールは忘却から保護されており、負の重みを持つモジュールですら、負の学習信号をエンコードすることで二重の役割を果たす可能性がある。
• プラスティックゲート機構により、エキスパートの二重使用が可能となり、正負の重みが両方とも「予測すべき」および「予測すべきでない」信号をエンコードすることで、モデルの頑健性が向上している。