[論文レビュー] Keep and Learn: Continual Learning by Constraining the Latent Space for Knowledge Preservation in Neural Networks

Hyoeun Kim, Seungwook Kim+1 more|arXiv (Cornell University)|May 28, 2018

Domain Adaptation and Few-Shot Learning参考文献 14被引用数 12

ひとこと要約

本稿では、特徴ベクトルがモデル化されたハイレベルな潜在空間内に位置するように制約することで、ニューラルネットワークにおける知識の保持を図る連続的学習手法を提案する。潜在空間と出力空間の間の相互情報量を維持するための再構成損失を用いる。この手法は、LwF や EWC やそれらの変種に比べ、順次的タスク間で知識をより効果的に保持する。CIFAR-10 と CIFAR-100 のステージ1データについて、それぞれステージ4で 88.22% と 69.34% の精度を達成した。

ABSTRACT

Data is one of the most important factors in machine learning. However, even if we have high-quality data, there is a situation in which access to the data is restricted. For example, access to the medical data from outside is strictly limited due to the privacy issues. In this case, we have to learn a model sequentially only with the data accessible in the corresponding stage. In this work, we propose a new method for preserving learned knowledge by modeling the high-level feature space and the output space to be mutually informative, and constraining feature vectors to lie in the modeled space during training. The proposed method is easy to implement as it can be applied by simply adding a reconstruction loss to an objective function. We evaluate the proposed method on CIFAR-10/100 and a chest X-ray dataset, and show benefits in terms of knowledge preservation compared to previous approaches.

研究の動機と目的

• 訓練後、以前の段階のデータが利用できないマルチセンター単一タスク学習における崩壊的忘却を解消すること。
• モデルパラメータや出力ログィットを制約するが、ハイレベルな特徴空間をモデル化しない既存手法（LwF や EWC）の限界を克服すること。
• 以前のデータから学習した表現を保持するために、顕著に潜在特徴空間をモデル化・制約することにより、知識保持を向上させること。
• プライバシー制約と順次的データアクセスが課される現実世界の医療画像タスク（結核用のチ胸レントゲン画像）に対しても有効性を示すこと。

提案手法

• 最初の訓練段階で、出力（ログィット）空間と相互に情報を持つハイレベルな特徴空間をモデル化する。
• 以降の訓練段階で、特徴ベクトルがモデル化された潜在空間内に位置するように制約するため、再構成損失を適用する。
• 標準的な目的関数に再構成損失を統合することで、最小限のアーキテクチャ変更で実装可能なシンプルな実装を可能にする。
• 共有エンコーダを用いて特徴を抽出し、分類用に別個のヘッドを設ける。再構成損失はボトルネック（潜在）表現に適用する。
• 同じエンコーダを再利用しながら、分類器をファインチューニングし、潜在空間の制約を強制することで、段階的（インクリメンタル）にモデルを訓練する。
• 潜在空間と出力空間の相互情報量を活用することで、古いデータにアクセスせずに知識を保持する。

実験結果

リサーチクエスチョン

• RQ1 ハイレベルな特徴空間をモデル化し、訓練中にその空間を制約することで、連続的学習における知識保持が向上するか？
• RQ2 LwF や EWC やそれらの組み合わせと比較して、本手法は以前に学習したタスクの性能維持においてどのように優れているか？
• RQ3 本手法は、プライバシー制約と順次的データアクセスが課される現実世界の医療画像タスクにも一般化可能か？
• RQ4 モデルパラメータや出力ログィットを制約する手法と比較して、潜在空間への再構成損失がどれほど優れているか？
• RQ5 複数回のインクリメンタル学習段階を経ても、初期タスクの高い性能を維持できるか？

主な発見

• CIFAR-10 において、本手法はステージ4でステージ1データの精度を 88.22% に達成し、FT (85.75%)、EWC (85.97%)、LwF (88.64%)、LwF+ (89.40%) を上回った。
• CIFAR-100 では、ステージ4でステージ1データの精度を 69.34% に維持し、最終段階で LwF+ (66.91%) と EWCLwF+ (69.34%) を上回った。
• チ胸レントゲン画像の結核データセットでは、本手法はステージ4におけるステージ1データの AUC を 0.909 に達成し、LwF+ (0.898) と EWCLwF+ (0.884) を上回った。
• すべての段階で知識保持に一貫した改善が見られ、特に忘却が最も深刻になる後段階で最大の向上が観察された。
• TB データセットでは、本手法のアンサンブル性能（AUC 0.9363）がすべてのベースラインで最高であり、試行にわたる頑健性を示した。
• 図5のROC曲線は、本手法がステージ4においてステージ1データに対する感受性を著しく高い水準で維持していることを示しており、優れた知識保持を確認した。