[論文レビュー] Uncertainty-guided Continual Learning with Bayesian Neural Networks

Sayna Ebrahimi, Mohamed Elhoseiny+2 more|arXiv (Cornell University)|Jun 6, 2019

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 26

ひとこと要約

本稿では、重みの不確実性に基づいて学習率を動的に調整することで、継続的学習における深刻な忘却を軽減する、不確実性誘導型継続的ベイジアンニューラルネットワーク（UCB）を提案する。ベイジアンニューラルネットワークを用いてパラメータの不確実性を推定することで、UCBは重要とされる重みを動的に特定し、保存する。本手法は、テスト時にタスクラベルを必要とせず、多様なベンチマークで最先端または競争力のある性能を達成する。

ABSTRACT

Continual learning aims to learn new tasks without forgetting previously learned ones. This is especially challenging when one cannot access data from previous tasks and when the model has a fixed capacity. Current regularization-based continual learning algorithms need an external representation and extra computation to measure the parameters' extit{importance}. In contrast, we propose Uncertainty-guided Continual Bayesian Neural Networks (UCB), where the learning rate adapts according to the uncertainty defined in the probability distribution of the weights in networks. Uncertainty is a natural way to identify extit{what to remember} and extit{what to change} as we continually learn, and thus mitigate catastrophic forgetting. We also show a variant of our model, which uses uncertainty for weight pruning and retains task performance after pruning by saving binary masks per tasks. We evaluate our UCB approach extensively on diverse object classification datasets with short and long sequences of tasks and report superior or on-par performance compared to existing approaches. Additionally, we show that our model does not necessarily need task information at test time, i.e. it does not presume knowledge of which task a sample belongs to.

研究の動機と目的

• 過去のタスクデータにアクセスできない状況下で、固定容量のモデルが継続的学習において深刻な忘却を回避することを目的とする。
• 明示的でタスク依存の重要度測定値と追加計算を必要とする正則化に基づく手法の限界を克服することを目的とする。
• ベイジアンニューラルネットワークに内在する不確実性を活用して、重要なパラメータを暗黙的かつ自動的に同定する手法を開発することを目的とする。
• テスト時にタスク情報が与えられない状況でも効果的な継続的学習を可能とし、現実的かつ単一の分類ヘッド（シングルヘッド）でのデプロイメントを支援することを目的とする。
• 学習済みのバイナリマスクを用いて重要パラメータを凍結する、プルーニング変種（UCB-P）を導入し、恒久的な知識保持を可能とすることを目的とする。

提案手法

• 各重みを分布（平均と分散）として表現する変分推論を用いたベイジアンニューラルネットワークを採用し、パラメータの不確実性を捉える。
• 各重みの学習率をその不確実性に反比例するように調整する：不確実性が高いほど大きな更新が許容され、低いほど変更が制限される。
• 各タスク終了後の重みの事後分布を活用し、その後の学習を誘導することで、低不確実性のパラメータに知識を保存する。
• 高重要度パラメータをバイナリマスクで凍結するハードスレッショルド変種「UCB-P」を導入し、その後の更新を防止する。
• すべてのタスクで同一の分類ヘッドを用いて学習・評価することで、推論時にタスクIDを明示しない一般化精度の評価を可能にする。
• 変分推論における勾配推定を、事後分布の効率的近似のためにマルコフ連鎖モンテカルロ（MCMC）サンプリングを用いる。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンニューラルネットワークの重みにおける不確実性は、継続的学習におけるパラメータ重要度の自然で暗黙的な指標として機能するか？
• RQ2 不確実性誘導型の学習率調整は、明示的な重要度正則化よりも深刻な忘却を効果的に軽減できるか？
• RQ3 本手法は、テスト時にタスク情報が与えられない状況でも、長期間にわたるタスク列および多様なデータセットに一般化可能か？
• RQ4 標準的および一般化精度の指標において、UCBはHAT や EWC などの最先端の継続的学習手法と比較して優れた性能を示すか？
• RQ5 不確実性に基づくプルーニングは、性能を維持しながらメモリオーバーヘッドを低減できるか？また、バイナリマスクを用いた知識保持は恒久的に行えるか？

主な発見

• 2分割MNISTにおいて、テスト時にタスク情報を一切使用しない状況でもUCBは98.7%の一般化精度を達成し、BBB-FT（98.1%）を上回り、マルチヘッド性能と同等となる。
• パーミュテッドMNISTではUCBが92.5%の一般化精度を達成し、BBB-FT（86.1%）を大きく上回り、HAT などの強力なベースラインをも凌駆する。
• 8タスクのCIFAR連続シーケンスにおいてUCBは76.8%の一般化精度を達成し、BBB-FT（47.6%）を大きく上回り、PNN よりも3.6ポイント高い。
• UCB-Pは8タスクシーケンスで84.0%の精度を達成し、PNN よりも3.6ポイント優れており、バイナリマスクを用いた知識保持が効果的であることが示された。
• 標準精度から一般化精度への性能低下が最小限（≤4.1%）に抑えられており、シングルヘッド設定におけるクラスの混同に対して高いロバストネスを示している。
• マルチヘッドからシングルヘッド推論に切り替えた際の精度低下がわずか0.3%にとどまり、UCBが優れた一般化能力を有していることが示された。