[論文レビュー] SupportNet: solving catastrophic forgetting in class incremental learning with support data

Li Yu, Zhongxiao Li+6 more|arXiv (Cornell University)|Jun 8, 2018

Domain Adaptation and Few-Shot Learning参考文献 53被引用数 26

ひとこと要約

SupportNetは、クラスインクリメンタル学習における深刻な忘却を、サポートベクターマシン（SVM）から得たコンパクトで情報量の多いサポートデータを用いて、継続的学習中に古い知識を再構築することで解決する。これらのサポートデータを新規データと組み合わせ、2つの正則化項を適用することで、全データを再学習した場合と同等の性能を達成し、最先端の手法を上回る性能を示す。

ABSTRACT

A plain well-trained deep learning model often does not have the ability to learn new knowledge without forgetting the previously learned knowledge, which is known as catastrophic forgetting. Here we propose a novel method, SupportNet, to efficiently and effectively solve the catastrophic forgetting problem in the class incremental learning scenario. SupportNet combines the strength of deep learning and support vector machine (SVM), where SVM is used to identify the support data from the old data, which are fed to the deep learning model together with the new data for further training so that the model can review the essential information of the old data when learning the new information. Two powerful consolidation regularizers are applied to stabilize the learned representation and ensure the robustness of the learned model. We validate our method with comprehensive experiments on various tasks, which show that SupportNet drastically outperforms the state-of-the-art incremental learning methods and even reaches similar performance as the deep learning model trained from scratch on both old and new data. Our program is accessible at: https://github.com/lykaust15/SupportNet

研究の動機と目的

• 深層学習モデルが新しいデータに対して学習を行う際に、以前に学習した知識を失う、クラスインクリメンタル学習における深刻な忘却を解消すること。
• 再学習を繰り返さずに、古いタスクの性能を維持する効率的な手法を開発すること。
• 古いクラスの代表的で情報量の多いサンプル（サポートデータ）を特定・利用し、新しいクラスの学習を安定化させること。
• 深層学習とSVMベースのサポートベクタ選択を組み合わせることで、安定性と柔軟性のバランスをとること。
• 2つの新しい統合正則化項を用いて、学習された表現を安定化させ、一般化性能と耐障害性を向上させること。

提案手法

• SupportNetは事前に学習された深層ニューラルネットワークを用い、古いクラスの最終層特徴量に対してSVMを学習し、サポートベクタを特定する。
• これらのサポートベクタ—古いクラスの代表的サンプル—は保存され、インクリメンタル学習の際、新規データとともに再生される。
• 新規データとサポートデータの両方に対する交差エントロピー損失を組み合わせた損失関数を用いて、モデルをファインチューニングすることで、知識の保持を確保する。
• 2つの統合正則化項を適用する：1つは特徴表現の安定化、もう1つは古いクラスの意思決定境界の維持。
• 各インクリメンタル学習ステップにおいて、過去のクラスからのサポートデータを動的に統合し、完全な古いデータセットを保存せずに再現学習を模倣する。
• サポートベクタは、SVMの意思決定境界において幾何学的に重要な位置にあることから選択され、高い情報量を保証する。

実験結果

リサーチクエスチョン

• RQ1 古いクラスの特徴量にSVMを適用して得たサポートベクタが、コンパクトな形で古いクラスの本質的情報を効果的に表現できるか？
• RQ2 インクリメンタル学習中にサポートデータを再生することで、古いタスクおよび新しいタスクの性能にどのような影響を与えるか？
• RQ3 既存の正則化手法や再現学習ベースの手法と比較して、SupportNetは深刻な忘却をどの程度軽減できるか？
• RQ4 サポートデータと統合正則化項を用いる際、安定性と柔軟性のバランスが性能に与える影響はいかほどか？
• RQ5 元の古いデータを保存せずに、SupportNetは全データ再学習の性能に近い結果を達成できるか？

主な発見

• SupportNetは、CIFAR-100 や Tiny ImageNet といった複数のベンチマークで、最先端のインクリメンタル学習手法を上回る性能を示した。
• CIFAR-100 では平均正答率84.3%を達成し、iCaRL（78.9%）や他のベースラインを顕著に上回った。
• 全再学習ベースラインと比較して、性能低下を約13%に抑えることができ、強い安定性を示した。
• 酵素機能予測データセットでは、SupportNetは83.9%のテスト正答率を維持したが、iCaRLは62.9%まで低下した。これは、過学習の程度が低いことを示している。
• アブレーションスタディの結果、SVMによるサポートデータ選択が極めて重要であることが確認され、その除去によりiCaRLでは37%の性能低下が生じたが、SupportNetではわずか7%の低下にとどまった。
• 2つの統合正則化項は、耐障害性を顕著に向上させた。安定性正則化項は表現のずれを低減し、柔軟性正則化項は新しいクラスへの適応を効果的に可能にした。