[論文レビュー] Continual Learning on the Edge with TensorFlow Lite

Giorgos Demosthenous, Vassilis Vassiliades|arXiv (Cornell University)|May 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 21被引用数 13

ひとこと要約

この論文は、転移学習APIに単純なリプレイバッファを統合することで、TensorFlow Liteに継続的学習の機能を拡張し、災難的忘却を伴わずにデバイス内でのモデル適応を可能にしている。この手法は、モバイルデバイスにおけるインクリメンタル学習のシナリオにおいて、標準的な転移学習よりも優れたパフォーマンスを示しており、ベンチマークテストおよび実世界のAndroidアプリケーションによる検証がなされている。

ABSTRACT

Deploying sophisticated deep learning models on embedded devices with the purpose of solving real-world problems is a struggle using today's technology. Privacy and data limitations, network connection issues, and the need for fast model adaptation are some of the challenges that constitute today's approaches unfit for many applications on the edge and make real-time on-device training a necessity. Google is currently working on tackling these challenges by embedding an experimental transfer learning API to their TensorFlow Lite, machine learning library. In this paper, we show that although transfer learning is a good first step for on-device model training, it suffers from catastrophic forgetting when faced with more realistic scenarios. We present this issue by testing a simple transfer learning model on the CORe50 benchmark as well as by demonstrating its limitations directly on an Android application we developed. In addition, we expand the TensorFlow Lite library to include continual learning capabilities, by integrating a simple replay approach into the head of the current transfer learning model. We test our continual learning model on the CORe50 benchmark to show that it tackles catastrophic forgetting, and we demonstrate its ability to continually learn, even under non-ideal conditions, using the application we developed. Finally, we open-source the code of our Android application to enable developers to integrate continual learning to their own smartphone applications, as well as to facilitate further development of continual learning functionality into the TensorFlow Lite environment.

研究の動機と目的

• 新しいクラスが段階的に到着する実世界のシナリオにおいて、オンデバイスでの転移学習の限界を解決すること。
• TensorFlow Liteを用いてエッジデバイス上で直接継続的学習の機能を実装・評価すること。
• 非理想状態の条件下におけるクラスインクリメンタル学習を処理する際、継続的学習が転移学習を上回ることを実証すること。
• 開発者がスマートフォンアプリケーションに継続的学習を統合できるように、Androidアプリケーションをオープンソース化すること。
• TensorFlow Liteエコシステム内における継続的学習の今後の拡張の基盤を築くこと。

提案手法

• モデルヘッドに単純なリプレイバッファを追加し、過去のデータのサブセットを保存・再利用できるように、既存のTensorFlow Lite転移学習APIを拡張する。
• 固定サイズのバッファを用いて、以前に学習されたクラスの代表的なサンプルをインクリメンタルトレーニング中に保持する。
• バックプロパゲーションの前に、現在のバッチデータと再利用されたサンプルを混合することで、リプレイバッファをトレーニングループに統合する。
• CORe50ベンチマークにおいて、累積的、新しいインスタンス、新しいクラスの3つのシナリオでモデルをトレーニングおよび評価する。
• さまざまな画像品質や物体の状態下で、リアルタイムのAndroidアプリケーションにモデルをデプロイし、ライブカメラ入力を用いてテストする。
• 分類精度と信頼度スコアを用いて、すべてのシナリオにおいて転移学習モデルと継続的学習モデルのパフォーマンスを比較する。

実験結果

リサーチクエスチョン

• RQ1 TensorFlow Liteにおける転移学習は、実世界のエッジデプロイメントにおいて、新しいクラスが段階的に追加されても災難的忘却を回避できるか？
• RQ2 非理想状態の実世界の画像条件下で、単純なリプレイベースの継続的学習アプローチは、転移学習に比べてどのように性能を発揮するか？
• RQ3 TensorFlow Liteの現在のAPI制約のもとで、モバイルデバイス上に継続的学習を効果的に実装・デプロイできるか？
• RQ4 部分的または遮蔽された物体（例：リモコンのボタン、カップのハンドル、ボトルのキャップ）のような挑戦的な視覚的条件下で、継続的学習モデルの失敗モードは何か？
• RQ5 継続的学習モデルが失敗した場合、特にクラスバイアスの観点から、予測行動はどのように変化するか？

主な発見

• TensorFlow Liteにおける転移学習は、極めて少量のデータでさえも、新しいクラスが段階的に追加されると、以前に学習したクラスの知識を保持できず、災難的忘却を示す。
• リプレイバッファを備えた継続的学習モデルは、災難的忘却を効果的に防止し、CORe50ベンチマークのすべてのシナリオ（新規クラスを含む）で高い精度を維持する。
• 実世界のAndroidアプリケーションでは、継続的学習モデルが大多数のクラスについて信頼度スコアを0.85以上に維持しており、特に「眼鏡」クラスは100％の信頼度で正しく分類されている。
• モデルの主な失敗原因は、キービジュアル特徴（例：リモコンのボタン、カップのハンドル、ボトルのキャップ）が隠されている場合であり、部分的または遮蔽された物体に対して感受性が高いことが示された。
• 継続的学習モデルが失敗した場合、常に最後に学習したクラス（眼鏡）にデフォルトで分類される傾向があり、予測ヘッドまたはメモリバッファにバイアスが生じている可能性がある。
• 新規クラスのシナリオにおいて、継続的学習モデルは転移学習モデルを上回り、転移学習モデルが忘却のため著しく失敗する中で、継続的学習モデルは安定したパフォーマンスを維持している。