[論文レビュー] Move-to-Data: A new Continual Learning approach with Deep CNNs, Application for image-class recognition

Miltiadis Poursanidis, Jenny Benois‐Pineau+3 more|arXiv (Cornell University)|Jun 12, 2020

Anomaly Detection Techniques and Applications参考文献 17被引用数 6

ひとこと要約

この論文は、勾配ベースの再訓練を避けて、入ってくるデータに応じて最終全結合層の重みを直接調整することで、深層畳み込みニューラルネットワーク（CNN）における高速な継続的学習手法であるMove-to-Dataを提案する。CPU上で微調整と同等の性能を達成しながら4倍以上の高速な推論を実現しており、類似した深刻な忘却行動を示している。

ABSTRACT

In many real-life tasks of application of supervised learning approaches, all the training data are not available at the same time. The examples are lifelong image classification or recognition of environmental objects during interaction of instrumented persons with their environment, enrichment of an online-database with more images. It is necessary to pre-train the model at a "training recording phase" and then adjust it to the new coming data. This is the task of incremental/continual learning approaches. Amongst different problems to be solved by these approaches such as introduction of new categories in the model, refining existing categories to sub-categories and extending trained classifiers over them, ... we focus on the problem of adjusting pre-trained model with new additional training data for existing categories. We propose a fast continual learning layer at the end of the neuronal network. Obtained results are illustrated on the opensource CIFAR benchmark dataset. The proposed scheme yields similar performances as retraining but with drastically lower computational cost.

研究の動機と目的

• データが逐次的に到着する継続的学習のシナリオにおいて、標準的な微調整の計算非効率性を解消すること。
• リアルタイムまたはオンライン応用において、段階的なモデル更新の際のバックプロパゲーションの高コストを軽減すること。
• 以前に学習したクラスの性能を維持しながら、既存のカテゴリの新しいデータに適応すること。
• トレーニングのオーバーヘッドを低減するため、重みを変更する際に勾配に依存しない軽量な手法を考案すること。
• 神経補装視覚システムや継続的に拡充される画像データベースなどのリアルタイム応用における適応を可能にすること。

提案手法

• 入ってくるデータに基づいて、最終全結合層の重みベクトルを直接修正する勾配に依存しない更新ルールを提案する。
• 重み更新の大きさを制御する学習可能なパラメータεを用い、安定性と柔軟性のバランスを取る。
• 単純な重み調整メカニズムを適用する：W ← W + ε · (1 - y) · x、ここでxは入力特徴ベクトル、yは予測クラスである。
• オンライン形式で動作し、ネットワーク全体を再トレーニングせずに、各データサンプル受信後にモデルを更新する。
• 畳み込み層およびそれより前の全結合層を固定し、最終層のみを更新することで計算効率を維持する。
• TensorFlowバックエンドを搭載したKerasで実装し、ベースラインの微調整と公平な比較が可能なCPUオンリーエグゼキューションを採用する。

実験結果

リサーチクエスチョン

• RQ1 勾配に依存しない手法が、画像分類の継続的学習において微調整と同等の精度を達成できるか？
• RQ2 提案手法は、計算効率および推論速度の面で標準的な微調整と比べてどう異なるか？
• RQ3 Move-to-Data手法は、勾配ベースの微調整と同様の深刻な忘却行動を示すか？
• RQ4 段階的学習においてモデルの安定性と適応性のバランスを取るための最適なε値は何か？
• RQ5 限られた計算リソースを持つリアルタイムまたはオンライン学習シナリオにおいて、この手法は効果的に適用可能か？

主な発見

• Move-to-Dataは、10個のデータチャンクを処理した後、CIFAR-10で最終テスト精度0.761を達成し、ベースラインの微調整精度0.762に近く一致した。
• CPU上での実行において、Move-to-Dataは微調整の4倍以上速く、平均計算時間はMove-to-Dataが333.304 ± 47.499 ms、微調整が1327.179 ± 136.908 msであった。
• ε = 0.0001の場合、Move-to-Dataは全10個のデータチャンクにわたり安定した性能を維持し、時間の経過とともにわずかな向上が見られた。
• ε = 0.1の場合、重度の深刻な忘却が発生し、大きな更新がモデルを不安定にすることが示された。
• 手法の性能は全10個のデータチャンクにわたり一貫しており、逐次的なデータ到着に対して高い耐性を示した。
• このアプローチは計算的に効率的であり、GPUアクセラレーションが利用できないリアルタイム応用に適している。