[論文レビュー] DeeSIL: Deep-Shallow Incremental Learning

Eden Belouadah, Adrian Popescu|arXiv (Cornell University)|Aug 20, 2018

Domain Adaptation and Few-Shot Learning参考文献 13被引用数 5

ひとこと要約

DeeSILは、固定された深層特徴抽出器と、新しいクラスごとに独立して訓練される浅層線形SVMを用いる、深さと浅さのインクリメンタル学習フレームワークを提案する。この手法により、継続的忘却を回避し、1分未満で新しいクラスを追加可能となる。ImageNet-1000において、iCaRLと比較してトップ5精度が23〜33ポイント高く、記憶容量が限られた状況でも深層ネットワークの再訓練が不要である。

ABSTRACT

Incremental Learning (IL) is an interesting AI problem when the algorithm is assumed to work on a budget. This is especially true when IL is modeled using a deep learning approach, where two com- plex challenges arise due to limited memory, which induces catastrophic forgetting and delays related to the retraining needed in order to incorpo- rate new classes. Here we introduce DeeSIL, an adaptation of a known transfer learning scheme that combines a fixed deep representation used as feature extractor and learning independent shallow classifiers to in- crease recognition capacity. This scheme tackles the two aforementioned challenges since it works well with a limited memory budget and each new concept can be added within a minute. Moreover, since no deep re- training is needed when the model is incremented, DeeSIL can integrate larger amounts of initial data that provide more transferable features. Performance is evaluated on ImageNet LSVRC 2012 against three state of the art algorithms. Results show that, at scale, DeeSIL performance is 23 and 33 points higher than the best baseline when using the same and more initial data respectively.

研究の動機と目的

• 厳密な記憶制約下で継続的忘却を緩和し、再訓練コストを低減する。
• 深層ネットワークの再訓練なしに、1分未満で新しいクラスを効率的に追加可能にする。
• 転移可能な深層特徴を得るために、大規模な初期データセットを活用して認識能力を最大化する。
• パラメータの増加を回避し、多数のクラスにおいても性能を維持する、スケーラブルで記憶効率の良い手法を開発する。
• GPUが利用できない低リソース環境における実用的ソリューションを提供する

提案手法

• すべての学習画像から512次元の特徴を抽出する固定された深層ニューラルネットワーク（DFE）を用い、インクリメンタル学習中も特徴抽出器を固定する。
• 正例の代わりに、固定サイズの負例特徴（K個）のメモリを保持し、多様性と代表性を保つために負例選択器（NS）を用いる。
• 新しいクラスの正例特徴とメモリプールからの負例特徴を用いて、各新しいクラスごとに独立した線形SVMを訓練する。
• 多様性に配慮した選択戦略（例：$\text{div}$）またはランダムサンプリング（$\text{rand}$）を用いて、負例メモリプールを更新し、代表性を維持する。
• 深層表現学習とインクリメンタル分類を分離し、各新しいクラスごとに浅層分類器のみを訓練することで、CPUベースの高速な学習を実現する。
• 大規模な事前学習データ（例：ImageNet-1000 や Flickr）を活用して、固定された深層特徴の転送可能性を向上させる

実験結果

リサーチクエスチョン

• RQ1 固定された深層表現と独立した浅層分類器の組み合わせは、エンドツーエンドの再訓練に比べて、インクリメンタル学習でより優れた性能を達成できるか？
• RQ2 正例メモリと比較して、負例特徴選択はスケーラビリティと忘却緩和の観点でどのように優れているか？
• RQ3 ターゲットデータセットのクラス数よりも多いクラスで深層特徴抽出器を事前学習することで、性能はどの程度向上するか？
• RQ4 iCaRL や LwF といった最先端手法と比較して、DeeSIL の学習時間とメモリ使用量はどの程度か？
• RQ5 数千クラスにスケーリングしても、顕著な性能低下やメモリの爆発的増加が生じないか？

主な発見

• 1000初期クラスで学習した場合、DeeSILはImageNet-1000でトップ5精度89％を達成し、フルトレーニングベースライン（89％精度）と比較してわずか12ポイントの低下に抑えられる。一方、iCaRLは44ポイントの低下を示す。
• 初期クラスが100のとき、DeeSILはトップ5精度66を達成し、同じ条件下でiCaRLの43を23ポイント上回る。
• ILSVRCではなくImageNetの1000初期クラスを用いた場合、DeeSILはiCaRLを33ポイント上回る性能を示し、より豊富な事前学習データの恩恵が明確に示された。
• 1つのクラスを追加するのにCPU上で1分未塔で可能であるのに対し、iCaRLはGPU上で約32時間必要であり、浅層分類器の更新の効率性が顕著に示された。
• ランダム負例サンプリング（$\text{rand}$）は、より複雑な多様性ベースのサンプリング（$\text{div}$）と同等の性能を示し、0.5ポイントの向上を示した。このため、シンプルさを重視する場合には$\text{rand}$が好ましい選択肢となった。
• DeeSILは、iCaRLや他のベースラインと比較して、すべての評価設定で優れた性能を示し、初期データが増えるほど顕著に向上する。これは、本手法の堅牢性を裏付けるものである。