[論文レビュー] Bayesian Optimized Continual Learning with Attention Mechanism

Ju Xu, Jin Ma+1 more|arXiv (Cornell University)|May 10, 2019

Domain Adaptation and Few-Shot Learning参考文献 15被引用数 6

ひとこと要約

本稿では、ベイズ最適化を用いて各タスクごとに最適なアーキテクチャ変更を動的に決定することで、ニューラルネットワークの容量を拡張する継続的学習フレームワークBOCLを提案する。同時に、注意メカニズムを用いて過去の知識を効果的に選択的に活用する。BOCLは、MNISTおよびCIFAR-100において、Catastrophic forgettingを防止し、精度を向上させる点で、PGN、DEN、RCLなどの手法を凌駆する最先端の性能を達成するとともに、モデルの複雑さと学習時間を著しく削減する。

ABSTRACT

Though neural networks have achieved much progress in various applications, it is still highly challenging for them to learn from a continuous stream of tasks without forgetting. Continual learning, a new learning paradigm, aims to solve this issue. In this work, we propose a new model for continual learning, called Bayesian Optimized Continual Learning with Attention Mechanism (BOCL) that dynamically expands the network capacity upon the arrival of new tasks by Bayesian optimization and selectively utilizes previous knowledge (e.g. feature maps of previous tasks) via attention mechanism. Our experiments on variants of MNIST and CIFAR-100 demonstrate that our methods outperform the state-of-the-art in preventing catastrophic forgetting and fitting new tasks better.

研究の動機と目的

• 新しいタスクを学習する際、以前のタスクで性能が低下するCatastrophic forgettingの課題に対処すること。
• 正則化に依存する固定アーキテクチャ手法の限界を克服し、古いタスクと新しいタスクの性能のトレードオフを緩和すること。
• PGN、DEN、RCLのような拡張可能なアーキテクチャ手法を改善し、モデルの複雑さと学習時間を削減しながら、性能を維持または向上させること。
• 注目メカニズムを用いて、新しいタスクに適した関連する過去の知識を知的に選択することで、不要な特徴からの干渉を回避すること。
• ベイズ最適化を用いてネットワーク拡張の意思決定を最適化し、余分なパラメータを最小限に抑え、最適なアーキテクチャの探索を高速化すること。

提案手法

• 新しいタスクの到着時に、各層に追加するフィルターも数やノード数の最適な組み合わせを特定する組み合わせ最適化問題を、ベイズ最適化で解く。
• 収束を加速し、試行回数を削減するために、過去のタスクからの知識を用いてベイズ最適化のプロセスをウォームスタートする。
• 過去のタスクの特徴マップの重要性を学習する注目メカニズムを統合し、関連する知識の選択的かつ効果的な転送を可能にする。
• トレーニング中に更新される学習可能な注目重みを用いて注目メカニズムを適用し、関連する過去の知識の動的優先順位付けを可能にする。
• 注目重み付きの過去の特徴と新しいタスクの特徴を統合ネットワーク内で結合し、タスク固有の表現を保持するとともに干渉を最小限に抑える。
• ベイズ最適化における探索空間を効率的に探索するため、ガウス過程のサーモグラフモデルを用いることで、最小限の評価回数で可能なネットワーク拡張の探索を実現する。

実験結果

リサーチクエスチョン

• RQ1 ベイズ最適化は、継続的学習における各新しいタスクの最適なネットワーク拡張（フィルターも数／ユニット数）を、効果的かつ効率的に特定できるか？
• RQ2 注目メカニズムは、関連する過去の知識を効果的に活用し、不要な特徴からの干渉を低減することで、性能をどの程度向上させるか？
• RQ3 PGN、DEN、RCLといった既存の継続的学習手法と比較して、BOCLのモデルの複雑さ、学習時間、精度はどの程度か？
• RQ4 ベイズ最適化と注目メカニズムの組み合わせは、複数のタスクにわたる一般化性能を向上させ、Catastrophic forgettingを低減するか？
• RQ5 BOCLの性能はハイパーパrameterの選択にどの程度敏感であり、さまざまな設定においても優位性を維持するか？

主な発見

• CIFAR-100において、BOCLはDEN比で最大60％のパラメータ削減を達成し、顕著な効率性の向上を示した。
• MNISTのパーミュテーション設定では、BOCLはRCL比で49％、DEN比で39％の学習時間を短縮し、収束が速いことを示した。
• 注目メカニズムにより、CIFAR-100ではテスト精度が2.2％向上し、MNIST mixでは0.16％、MNIST permutationsでは0.1％向上した。特に複雑なデータセットで最も顕著な向上が見られた。
• 同じパラメータ数でも、BOCLはRCL、DEN、PGNを上回るテスト精度を達成しており、パラメータ効率性に優れていることを示した。
• アーキテクチャ探索において、ランダムサーチや強化学習に比べ、BOCLははるかに少ない試行回数で同等の精度に到達した。
• BOCLは、評価されたすべてのベンチマークでCatastrophic forgettingを完全に防止し、多数の後続タスクを学習した後でも最初のタスクの高精度を維持した。