[論文レビュー] Lifelong Machine Learning with Deep Streaming Linear Discriminant Analysis

Tyler L. Hayes, Christopher Kanan|arXiv (Cornell University)|Sep 4, 2019

Data Stream Mining Techniques参考文献 53被引用数 13

ひとこと要約

本稿では、災難的忘却を軽減するために、CNNの出力層のみをストリーミングSLDAで逐次学習する、軽量でインクリメンタルな学習手法であるDeep Streaming Linear Discriminant Analysis (Deep SLDA)を提案する。ImageNetおよびCORe50において最先端の性能を達成しており、全層を更新するバッチ学習手法でさえも上回っている。処理速度は100倍以上速く、メモリ使用量は1,000倍も少ない。

ABSTRACT

When an agent acquires new information, ideally it would immediately be capable of using that information to understand its environment. This is not possible using conventional deep neural networks, which suffer from catastrophic forgetting when they are incrementally updated, with new knowledge overwriting established representations. A variety of approaches have been developed that attempt to mitigate catastrophic forgetting in the incremental batch learning scenario, where a model learns from a series of large collections of labeled samples. However, in this setting, inference is only possible after a batch has been accumulated, which prohibits many applications. An alternative paradigm is online learning in a single pass through the training dataset on a resource constrained budget, which is known as streaming learning. Streaming learning has been much less studied in the deep learning community. In streaming learning, an agent learns instances one-by-one and can be tested at any time, rather than only after learning a large batch. Here, we revisit streaming linear discriminant analysis, which has been widely used in the data mining research community. By combining streaming linear discriminant analysis with deep learning, we are able to outperform both incremental batch learning and streaming learning algorithms on both ImageNet ILSVRC-2012 and CORe50, a dataset that involves learning to classify from temporally ordered samples.

研究の動機と目的

• 厳密なリソース制約とリアルタイムのデータストリーム下における深層学習における災難的忘却の課題に取り組む。
• 各サンプルの処理後に即座に推論を可能にするために、インクリメンタルバッチ学習からストリーミング学習に移行する。
• メモリと計算リソースが限られた埋め込みシステムにおける、デバイス内に実装可能な軽量な生涯学習ソリューションを開発する。
• 出力層のみをストリーミングLDAで微調整することで、全層を更新するインクリメンタル学習と同等またはそれを上回る精度と耐性を達成できることを示す。

提案手法

• 事前学習済みのCNNとストリーミング線形判別分析（SLDA）を組み合わせ、最終分類層のみを逐次的に学習する。
• SLDAのオンライン更新則を用いて、クラス平均とクラス内分散行列を再帰的かつ記憶効率の良い方法で維持する。
• ImageNetやCORe50のベースクラスを用いてモデルを初期化することで、完全な再学習フェーズを必要とせずにドメイン転送を可能にする。
• CNNバックボーンのオフライン事前学習時に、標準的なデータ拡張（ランダムクロップ、反転）を適用する。
• ストリーミング中に適応する柔軟な共分散行列を用い、非i.i.d.なデータ順序において一般化性能を向上させる。
• 過去のデータを保存したり生成モデルを用いたりせずに、SLDAからの統計的要約のみに依存することで、記憶および計算コストを削減する。

実験結果

リサーチクエスチョン

• RQ1 深層特徴量にストリーミングLDAを適用することで、全層を更新するインクリメンタル学習を上回る精度と効率を達成できるか？
• RQ2 標準的なベースラインと比較して、Deep SLDAは非i.i.d.なデータストリーム（例えば、クラス順序やインスタンス順序）に対してどれほど頑健か？
• RQ3 CORe50の初期化を事前に行わず、ImageNet特徴量でSLDAを初期化することで、どの程度ドメイン転送が達成できるか？
• RQ4 出力層のみをSLDAで学習することで、隠れ層も更新する手法を上回る性能が得られるか？
• RQ5 最小限の記憶および計算コストで、SLDAを生涯学習の文脈で効果的に使用できるか？

主な発見

• Deep SLDAは、テストされたすべての手法の中でImageNet ILSVRC-2012において最高の最終top-5精度を達成した。ストリーミングおよびインクリメンタルバッチ学習のベースラインをすべて上回った。
• CORe50では、出力層のみを更新しているにもかかわらず、iCaRLを11%上回るΩ_allの性能を示した。記憶使用量は1,000倍も少ない。
• iCaRLやエンドツーエンド学習手法と比較して、100倍以上高速に動作し、各サンプル処理後にリアルタイム推論が可能になった。
• 共分散行列を1で初期化すると、クラス順序データにおいて最も優れた性能が得られ、ベースクラスへの過学習が軽減されていることが示唆された。
• SLDAは強力なドメイン転送を示した。ImageNet特徴量で初期化したモデルは、CORe50で微調整した際に1.0–5.6%の性能低下で済み、CORe50の初期化なしでも高い性能を維持した。
• 非i.i.d.なデータストリームに対しても頑健であり、特に挑戦的なクラス順序およびインスタンス順序のシーケンスにおいても高い性能を維持した。