[論文レビュー] A comprehensive, application-oriented study of catastrophic forgetting in DNNs

Benedikt Pfülb, Alexander Gepperth|arXiv (Cornell University)|May 20, 2019

Domain Adaptation and Few-Shot Learning被引用数 58

ひとこと要約

この論文は、DNNの逐次学習における破局的忘却（CF）を、現実世界の制約の下で、多くのデータセットとSLTに対して大規模な実証研究として提示し、EWCやIMMなどの有効性を分析します。現実的な条件下でもCFが継続することを結論づけ、実用的な回避策を議論します。

ABSTRACT

We present a large-scale empirical study of catastrophic forgetting (CF) in modern Deep Neural Network (DNN) models that perform sequential (or: incremental) learning. A new experimental protocol is proposed that enforces typical constraints encountered in application scenarios. As the investigation is empirical, we evaluate CF behavior on the hitherto largest number of visual classification datasets, from each of which we construct a representative number of Sequential Learning Tasks (SLTs) in close alignment to previous works on CF. Our results clearly indicate that there is no model that avoids CF for all investigated datasets and SLTs under application conditions. We conclude with a discussion of potential solutions and workarounds to CF, notably for the EWC and IMM models.

研究の動機と目的

• DNNの逐次学習における現実世界の制約（メモリ、因果関係、更新の複雑さ）を反映するアプリケーション指向の評価プロトコルを動機づけ、 formalize する。
• CFを広く多様な視覚分類データセットと逐次学習タスクに対して系統的に評価し、現行モデルのCF回避性を確認する。
• 提案プロトコルの下で、いくつかのDNNアプローチ（Dropoutの変種、LWTA、EWC、IMM）のCF挙動と実用性を比較する。
• 一般的なCFベンチマーク（例：パーミュテーション型SLT）の限界を強調し、適用条件下での解釈とモデル選択に関する指針を提供する。

提案手法

• 各データセットにつき2つのサブタスクを持つSequential Learning Tasks (SLTs) を、統一されたプロトコル制約の下で多数の視覚データセットから構築する。
• TensorFlowベースのフレームワークを用いて、FC、CONV、D-FC、D-CONV（Dropout）、LWTA、EWC、IMM の複数のDNNアーキテクチャを実装・評価する。
• D1 の最初のサブタスクで各モデルの組合せハイパーパラメータ探索を実施し候補を選択、続く D2 で学習率を変えてCFを評価する。
• アプリケーション指向の基準の下で、D1∪D2 における総合タスクの最良/最後の性能としてインクリメンタル学習品質 q を定量化し、CFなしで D1∪D2 で訓練したベースラインと比較する。
• IMM については、ウェイト転送/マージ手法を用い、バランシングパラメータ α に対する感度を分析し、現実的な実用性の観点を含めて検討する。

実験結果

リサーチクエスチョン

• RQ1 適用指向の制約の下、広範なデータセットとSLTにおいて破局的忘却は持続するか。
• RQ2 現実的な資源と因果関係の制約下で、どのDNNアプローチ（Dropout変種、EWC、IMM、LWTA）がCFを最も効果的に緩和するか。
• RQ3 適用条件を尊重した評価基準（最良対最後）のCFとモデル有効性への結論にどのような影響があるか。
• RQ4 パーミュテーションベースのSLTは、適用シナリオにおけるCF評価の信頼できるベンチマークとなるか。
• RQ5 実世界の逐次学習設定でEWCやIMMを実用的にするための実践的回避策は何か。

主な発見

• 提案されたアプリケーション指向プロトコルの下、研究対象のデータセットとSLT全体で、すべてのモデルが破局的忘却を示した。
• EWCは単純なSLTに対してCFを緩やかに保護するが、同等のサブタスクサイズを持つより複雑なSLT（例：D5-5型タスク）では効果が薄い。
• IMMは一般的に他モデルよりインクリメンタル学習性能が良いが、高い計算コストとアプリケーション制約と矛盾するパラメータ調整が障害となり、実務上は実用的でないことが多い。
• パーミュテーションベースのSLT（DP10-10）はいかなるモデルにもCFを示さず、CFのベンチマークとしてそのまま用いるべきではない。
• モデル選択（ハイパーパラメータ調整）は、アプリケーションシナリオ下のSLT訓練に組み込むべきであり、D1の不適切な選択が後続タスクの性能を著しく低下させる可能性がある。