[論文レビュー] Online Continual Learning for Embedded Devices

Tyler L. Hayes, Christopher Kanan|arXiv (Cornell University)|Mar 21, 2022

Domain Adaptation and Few-Shot Learning被引用数 13

ひとこと要約

本論文は、リソース制約のある組み込みデバイスにおけるオンライン継続的学習の実用的基準を確立し、3つの高解像度画像データセットを用いてモバイル最適化CNNを用いて7つのアルゴリズムを評価している。クラス順データストリームやショット学習といった現実世界の制約下でも、正確性、一般化性能、効率性の観点でSLDAと20%バッファを用いたリプレイが最も優れたパフォーマンスを示した。

ABSTRACT

Real-time on-device continual learning is needed for new applications such as home robots, user personalization on smartphones, and augmented/virtual reality headsets. However, this setting poses unique challenges: embedded devices have limited memory and compute capacity and conventional machine learning models suffer from catastrophic forgetting when updated on non-stationary data streams. While several online continual learning models have been developed, their effectiveness for embedded applications has not been rigorously studied. In this paper, we first identify criteria that online continual learners must meet to effectively perform real-time, on-device learning. We then study the efficacy of several online continual learning methods when used with mobile neural networks. We measure their performance, memory usage, compute requirements, and ability to generalize to out-of-domain inputs.

研究の動機と目的

• 限られたメモリと計算能力を有する実世界の組み込み応用におけるオンライン継続的学習手法の評価のギャップを埋める。
• 実装可能なオンデバイス継続的学習に不可欠な基準を定義する：オンライン推論、順序に依存しない学習、タスクラベル依存性の排除、およびサンプル効率性。
• 多様なデータ順序と分布のシナリオ下で、モバイルCNN上での7つのオンライン継続的学習アルゴリズムを体系的に比較する。
• AR/VR、ロボット工学、エッジデバイスにおけるパーソナライゼーション分野における今後の研究のための実証的ベースラインを提供する。
• 複数のデータセットにわたって、モデルのパフォーマンス、メモリ使用量、計算コスト、およびドメイン外一般化性能を評価する。

提案手法

• 5つのモバイル最適化CNN上で、7つのオンライン継続的学習手法（微調整、リプレイ（2%および20%バッファ）、SLDA、ナイーブベイズ、SOvR、NCM、パーセプトロン）を評価する。
• 3つの高解像度画像分類データセット（OpenLORIS、Places-365、Places-Long-Tail）を用い、異なるデータ分布下でのパフォーマンスをテストする。
• データストリームをランダム（iid）およびクラス順（忘却の最悪ケース）に並べ替え、両設定下での正確性と一般化性能を測定する。
• iidおよびクラス-iid性能の調和平均（H-Mean）を計算し、データ順序へのロバストネスを評価する。H-Meanが高くなるほど、全体的なパフォーマンスが優れていることを示す。
• 組み込みデプロイメントの可能性を評価するため、メモリおよび計算リソースの要件を測定する。
• 1クラスあたりの少数ラベル付き例を用いて、ドメイン外一般化性能およびショット学習性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 限られたメモリ、計算能力、および非i.i.d.データストリームといった現実世界の組み込み制約下で、どのオンライン継続的学習アルゴリズムが最も優れた性能を示すか？
• RQ2 少数で非定常なデータストリームで学習した場合、異なる継続的学習手法はドメイン外入力に対してどのように一般化するか？
• RQ3 モバイルCNN上での異なる継続的学習アルゴリズムにおいて、モデルの正確性、メモリ使用量、計算効率のトレードオフはどのように変化するか？
• RQ4 データ順序（例：クラス順 vs. ランダムシャッフル）は、オンライン継続的学習における災難的忘却およびモデルパフォーマンスにどのように影響するか？
• RQ5 AR/VRヘッドセットやパーソナルロボティクスなどのリアルタイム組み込み応用へのデプロイに最も適した手法は何か？

主な発見

• SLDAは、すべてのデータセットおよびデータ順序で最高の調和平均正確性（39.3）を達成し、データ順序へのロバストネスと優れた一般化性能を示した。
• 20%バッファを用いたリプレイは、2番目に高いH-Mean（37.3）を記録し、メモリが限られたモバイルモデルでも経験リプレイが依然として有効であることを示した。
• 微調整およびパーセプトロンは、H-Meanが10未満にとどまり、非i.i.d.データストリーム下で深刻な災難的忘却を示した。
• ナイーブベイズやSOvRのような手法は、一貫したが低水準のパフォーマンス（H-Mean 9.6～17.8）を示し、複雑な視覚的タスクにおける特徴表現学習の限界を浮き彫りにした。
• すべての手法が、完全データ学習と比較してショット学習のシナリオでパフォーマンスが低下した。これは、より強力な少サンプル継続的学習アルゴリズムの必要性を示唆している。
• 本研究は実証的ベースラインを提供し、SLDAおよび20%リプレイが、リアルタイムでオンデバイス継続的学習を要する組み込みシステムへのデプロイに最も適した候補であることが明らかになった。