[論文レビュー] Continual Learning using a Bayesian Nonparametric Dictionary of Weight Factors

Nikhil Mehta, Kevin J Liang+2 more|arXiv (Cornell University)|Apr 21, 2020

Domain Adaptation and Few-Shot Learning参考文献 49被引用数 8

ひとこと要約

本稿では、タスクの複雑さに応じてニューラルネットワークの容量を動的に拡張するための、インド・バーベッジ過程（IBP）事前分布を用いたベイジアン非パラメトリック継続的学習手法IBP-WFを提案する。重み行列を因子に分解し、タスク間でスパースで共有される要因を再利用することで、災難的忘却を緩和するとともに、正の知識転送を実現する。MNISTおよびCIFAR-10ベンチマークにおいて、手動でのハイパーパrameterチューニングなしに、データ駆動型のモデルスケーリングを実現し、ベースラインを上回る性能を示す。

ABSTRACT

Naively trained neural networks tend to experience catastrophic forgetting in sequential task settings, where data from previous tasks are unavailable. A number of methods, using various model expansion strategies, have been proposed recently as possible solutions. However, determining how much to expand the model is left to the practitioner, and often a constant schedule is chosen for simplicity, regardless of how complex the incoming task is. Instead, we propose a principled Bayesian nonparametric approach based on the Indian Buffet Process (IBP) prior, letting the data determine how much to expand the model complexity. We pair this with a factorization of the neural network's weight matrices. Such an approach allows the number of factors of each weight matrix to scale with the complexity of the task, while the IBP prior encourages sparse weight factor selection and factor reuse, promoting positive knowledge transfer between tasks. We demonstrate the effectiveness of our method on a number of continual learning benchmarks and analyze how weight factors are allocated and reused throughout the training.

研究の動機と目的

• 手動でのハイパーパrameterチューニングなしに、データ駆動型の自動的かつ動的なモデル拡張を可能にすることで、継続的学習における災難的忘却を解消すること。
• ニューラルネットワーク内での共有可能で再利用可能な重み要因を通じて、タスク間の正の知識転送を促進すること。
• 固定の拡張スケジュールではなく、入ってくるタスクの複雑さに基づいてモデルの複雑さを段階的にスケーリングする、整合的なベイジアンフレームワークを構築すること。
• 継続的学習の文脈において、ベイジアン推論を用いた不確実性推定とモデルアンサンブルの実現を可能にすること。

提案手法

• 各層の重み行列をランク1の要因の共有辞書と、タスク固有のスパースな対角行列に分解し、効率的なパラメータ共有を実現する。
• 各タスクごとの活性要因選択にインド・バーベッジ過程（IBP）事前分布を適用することで、自動的かつスパースで動的なモデル容量拡張を可能にする。
• IBP事前分布により、要因のタスク間再利用と、データ駆動型の複雑さに基づく必要最小限の新規要因追加が促進される。
• IBPのスティック・ブレイキング構成を用い、最大要因数で切り捨てた状態で、確率的勾配降下法によりモデルを学習する。
• インクリメンタルクラス設定における特徴統計を用いてタスクIDを推定し、タスク境界の知識なしに効果的な継続的学習を実現する。
• 2段階の訓練プロセスを採用する：まずIBP推論を伴うエンドツーエンド訓練を行い、次に固定された要因数でファインチューニングすることで性能を安定化させる。

実験結果

リサーチクエスチョン

• RQ1 IBPのようなベイジアン非パラメトリック事前分布は、手動でのチューニングなしに継続的学習における適切なモデル拡張率を自動的に決定できるか？
• RQ2 共有でスパースな重み要因は、逐次的に学習されるタスク間で、どの程度効果的に知識転送を実現し、忘却を低減できるか？
• RQ3 IBP-WF手法は、既存の正則化法や拡張ベースのベースラインと比較して、より優れた継続的学習性能を達成できるか？
• RQ4 要因の活性数と要因再利用パターンは、タスクに応じてどのように変化するか？また、IBP事前分布はこのプロセスにおいて果たす役割は何か？

主な発見

• IBP-WFは、インクリメンタルクラスおよびタスク設定の両方において、Split MNISTおよびPermuted MNISTベンチマークで、EWC、GEM、VCLを含む複数のベースラインを上回る性能を示した。
• IBPハイパーパramータの広い範囲にわたり安定した性能を示し、αおよびκの感度が低いため、実用的な安定性が確認された。
• アブレーションスタディの結果、αおよびκが性能に顕著に影響することが判明し、要因数と保持閾値の最適範囲が特定された。
• 要因使用の可視化により、スパースな活性化と、過去に学習した要因の一貫した再利用が確認され、正の知識転送のメカニズムが裏付けられた。
• ResNet-20を用いたCIFAR-10における高い精度が達成されたことから、単純なMLPを超えたスケーラビリティと、より深いアーキテクチャへの一般化が示された。
• 本手法は、ベイジアン推論を用いて不確実性推定とモデルサンプリングを可能にし、継続的学習分野でしばしば見過ごされがちな特徴を備えている。