[論文レビュー] Overcoming Multi-Model Forgetting

Yassine Benyahia, Kaicheng Yu+5 more|ArXiv.org|Feb 21, 2019

Domain Adaptation and Few-Shot Learning被引用数 12

ひとこと要約

本稿では、重みの可塑性損失（WPL）を導入し、深層ネットワークの逐次学習における共有パラメータの更新に起因する、複数モデルの忘却（以前に学習されたモデルの性能低下）を低減する統計的に根拠のある正則化手法を提示する。WPLは、以前のモデルに対する各共有重みの重要度に基づき、動的に学習率を調整することで、厳密収束設定では最大99%、緩い収束設定では52%の忘却低減を達成し、ニューラルアーキテクチャ探索（NAS）において顕著な改善を示す（例：PTBでは61.9のperplexity、WPLなしでは65.01）。

ABSTRACT

We identify a phenomenon, which we refer to as multi-model forgetting, that occurs when sequentially training multiple deep networks with partially-shared parameters; the performance of previously-trained models degrades as one optimizes a subsequent one, due to the overwriting of shared parameters. To overcome this, we introduce a statistically-justified weight plasticity loss that regularizes the learning of a model's shared parameters according to their importance for the previous models, and demonstrate its effectiveness when training two models sequentially and for neural architecture search. Adding weight plasticity in neural architecture search preserves the best models to the end of the search and yields improved results in both natural language processing and computer vision tasks.

研究の動機と目的

• 共有パラメータの更新に起因する、以前に学習されたモデルの性能低下（多モデルの忘却）という問題に取り組む。
• パラメータ共有による逐次学習において、共有層の数が増えるほど性能低下が顕著になることを特定する。
• パラメータの重要度に基づき学習ダイナミクスを調整することで、以前に学習された知識を保持する統計的に根拠のある正則化手法を提案する。
• WPLの有効性を、厳密収束および緩い収束の両設定において、特にニューラルアーキテクチャ探索（NAS）パイプラインにおいて実証する。
• 忘却の低減が、広範なハイパーパrameterチューニングを要せず、自然言語処理および画像認識タスクにおける最終モデル性能の向上に寄与することを示す。

提案手法

• やや緩い仮定の下で、訓練データを前提とした共有およびプライベートパラメータの事後確率を最大化する学習目的を定式化する。
• 以前に学習されたモデルに対する重要度に反比例するように、共有パラメータの更新を正則化する重みの可塑性損失（WPL）を導出する。
• フィッシャー情報を利用してパラメータの重要度を推定し、初期モデルにとって重要な重みの更新を遅くする。
• モデルを順次学習するフレームワークにおいて、各フェーズで共有層を更新する。
• ENAS や NAO などのニューラルアーキテクチャ探索（NAS）手法に WPL を統合し、探索を高速化するための重み共有を活用する。
• NASの実験において、出力ドロップアウトおよびパスドロップ戦略を用い、WPL のロバストネスおよび一般化性能を異なる探索設定で評価する。

実験結果

リサーチクエスチョン

• RQ1 共有パラメータを有する逐次学習におけるモデルの性能低下（多モデルの忘却）は、どの程度顕著か？
• RQ2 統計的に根拠のある正則化手法は、共有パラメータ設定における学習効率を維持しつつ、忘却を低減できるか？
• RQ3 緩い収束状態で、ニューラルアーキテクチャ探索において WPL は忘却をどの程度低減できるか？
• RQ4 標準的な NAS 手法と比較して、WPL は言語モデリングや画像分類などの下流タスクにおける最終モデルの精度を向上させるか？
• RQ5 ENAS や NAO などの異なる NAS フレームワークにおいて、ドロップアウト率や重み共有戦略の変化に応じて、WPL は一般化可能か？

主な発見

• モデル A が完全収束まで学習された状態で、モデル B の学習が行われる際、WPL は多モデルの忘却を最大99%まで低減し、モデル A の性能を顕著に保持する。
• より現実的とされる緩い収束設定においても、WPL は52%の忘却低減を達成し、実用的学習シナリオにおけるロバストネスを示す。
• ENAS を用いたニューラルアーキテクチャ探索において、最も影響を受けるモデルでは51%の忘却低減、全サンプルモデル平均では95%の忘却低減を達成する。
• WPL を用いて探索された最良のアーキテクチャは、PTB言語モデリングデータセットで61.9のperplexityを達成し、ENAS（65.01）を上回り、広範なハイパーパrameterチューニングなしで ENAS*（63.26）に対しても優位性を示す。
• CIFAR10 における画像分類タスクでは、WPL によりトップ-1誤差を 4.87%（ENAS）から 3.81% に低減し、NLP およびビジョンタスクの両方で一貫した向上を示す。
• NAO などの他の NAS 手法に対しても、WPL は効果的に一般化され、ドロップアウト率やトレーニング戦略の違い、特に攻撃的パスドロップを含む設定においても、忘却の低減を実現する。