[論文レビュー] Posterior Meta-Replay for Continual Learning

Christian Henning, Maria R. Cervera+7 more|Zurich Open Repository and Archive (University of Zurich)|Mar 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 98被引用数 4

ひとこと要約

本稿では、再帰的ベイズ更新による近似誤差の増幅を回避するため、共有確率的ハイパーネットワークを介してタスク固有の事後分布を学習するベイジアン継続的学習フレームワーク「事後メタリプレイ」を提案する。標準ベンチマーク上でのほぼゼロの忘れられやすさを達成し、先行研究に焦点を当てたベイジアン手法を上回る性能を示すが、予測不確実性を用いたタスク推論が主な性能ボトルネックであることが判明した。

ABSTRACT

Learning a sequence of tasks without access to i.i.d. observations is a widely studied form of continual learning (CL) that remains challenging. In principle, Bayesian learning directly applies to this setting, since recursive and one-off Bayesian updates yield the same result. In practice, however, recursive updating often leads to poor trade-off solutions across tasks because approximate inference is necessary for most models of interest. Here, we describe an alternative Bayesian approach where task-conditioned parameter distributions are continually inferred from data. We offer a practical deep learning implementation of our framework based on probabilistic task-conditioned hypernetworks, an approach we term posterior meta-replay. Experiments on standard benchmarks show that our probabilistic hypernetworks compress sequences of posterior parameter distributions with virtually no forgetting. We obtain considerable performance gains compared to existing Bayesian CL methods, and identify task inference as our major limiting factor. This limitation has several causes that are independent of the considered sequential setting, opening up new avenues for progress in CL.

研究の動機と目的

• 継続的学習における再帰的ベイズ更新の限界、特に近似誤差の増幅とタスクパフォーマンスのトレードオフを是正すること。
• 単一の統合事後分布ではなく、タスク固有の事後分布を学習するベイジアン継続的学習フレームワークの開発。
• タスクIDを条件として用いる共有メタモデルを通じて、効果的な知識の圧縮と保持を実現すること。
• 特にクラスインクリメンタル学習設定において、予測不確実性がタスクに依存しない推論に果たす役割の調査。
• 性能の主なボトルネックを同定・分析することであり、それが継続的学習のコアメカニズムではなく、推論部に起因することが判明した。

提案手法

• タスク固有の事後分布をモデル化するため、確率的タスク条件付きハイパーネットワークを用い、単一の共有メタモデルを採用する。
• メタ学習レベルでの忘れられやすさを防ぐために、過去のタスク事後分布のパラメータを再び再現する正則化項を導入する。
• 各タスクの事後分布を独立に学習することで再帰的ベイズ更新を回避し、誤差の伝搬を排除する。
• 生成モデルを用いず、ベイジアンモデルからの原理的で不確実性の推定値を用いて、テスト時にタスクIDを推論する。
• 各タスクに対して自由に選択可能な事前分布を用いることで、知識移転の明示的制御が可能となり、事前分布の指定を過去のタスク事後分布から分離できる。
• 標準的な継続的学習ベンチマーク上で評価され、先行研究に焦点を当てたベイジアンベースラインと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 タスク固有の事後分布を学習するベイジアン継続的学習フレームワークは、再帰的かつ事前分布に焦点を当てたベイジアン手法と比較して、忘れられやすさと精度の面で優れているか？
• RQ2 テスト時にタスクIDが提供されない状況下で、予測不確実性はタスクに依存しない推論をどの程度効果的に可能にするか？
• RQ3 提案フレームワークにおける性能劣化の主な要因は何か？ それは継続的学習メカニズムそのものに起因するものか、それとも推論部に起因するものか？
• RQ4 共有ハイパーネットワークによる知識圧縮は、複数のタスクのシーケンスにおいても高い性能を維持できるか？
• RQ5 各タスクに対して独立した事前分布の指定を可能にすることで、柔軟性と安定性のトレードオフをどの程度解消できるか？

主な発見

• 提案された事後メタリプレイフレームワークは、標準的な継続的学習ベンチマークでほぼゼロの忘れられやすさを達成し、既存のベイジアン継続的学習手法を顕著に上回る。
• 特にクラスインクリメンタル学習設定において、先行研究に焦点を当てたベイジアンベースラインと比較して顕著な性能向上が得られた。
• 性能の主なボトルネックは、コアな継続的学習メカニズムではなく、テスト時のタスク推論に起因することが同定された。
• タスク推論の制限要因は、近似推論、アーキテクチャ、不確実性測定、事前分布の組み合わせに起因し、これらは順次学習設定とは独立した要因である。
• フレームワークは、事前分布に対する明示的制御が可能であり、再帰的ベイズ更新に内在する安定性・柔軟性のトレードオフを回避できることを示した。
• 事後分布の再現による正則化は、メタレベルでの忘れられやすさを効果的に防止し、単一のハイパーネットワークに複数のタスク事後分布を安定的に圧縮することを可能にした。