[論文レビュー] It's always personal: Using Early Exits for Efficient On-Device CNN Personalisation

Ilias Leontiadis, Stefanos Laskaridis+2 more|arXiv (Cornell University)|Feb 2, 2021

IoT and Edge/Fog Computing参考文献 15被引用数 8

ひとこと要約

この論文では、事前学習済みモデルに早期終了を追加し、オンデバイスで自己教師付きで訓練することで、CNNの効率的なオンデバイス個人化を可能にするPersEPhonEEというフレームワークを提案する。バックボーンを凍結したまま早期終了のみを個人化することで、限られたデータやラベルなしの状況下でも、グローバルモデルと比較して最大3.2倍の推論スループット、2.2倍の高速な学習、最大15.9%の高い精度を達成する。

ABSTRACT

On-device machine learning is becoming a reality thanks to the availability of powerful hardware and model compression techniques. Typically, these models are pretrained on large GPU clusters and have enough parameters to generalise across a wide variety of inputs. In this work, we observe that a much smaller, personalised model can be employed to fit a specific scenario, resulting in both higher accuracy and faster execution. Nevertheless, on-device training is extremely challenging, imposing excessive computational and memory requirements even for flagship smartphones. At the same time, on-device data availability might be limited and samples are most frequently unlabelled. To this end, we introduce PersEPhonEE, a framework that attaches early exits on the model and personalises them on-device. These allow the model to progressively bypass a larger part of the computation as more personalised data become available. Moreover, we introduce an efficient on-device algorithm that trains the early exits in a semi-supervised manner at a fraction of the whole network's personalisation time. Results show that PersEPhonEE boosts accuracy by up to 15.9% while dropping the training cost by up to 2.2x and inference latency by 2.2-3.2x on average for the same accuracy, depending on the availability of labels on-device.

研究の動機と目的

• モバイルデバイスにおける計算制約、メモリ制約、プライバシー制約の厳しい条件下でオンデバイスモデル個人化の課題に対処すること。
• プライバシー漏洩や高いクラウドインfraコストを伴う中央集権的個人化の限界を克服すること。
• ラベルが乏しいまたは存在しない状況下でも、オンデバイスデータのみを用いて正確かつ効率的な個人化を可能にすること。
• メインネットワークを凍結したまま早期終了のみを個人化することで、学習および推論のオーバーヘッドを低減すること。
• 入力の信頼度に基づいて推論の深さを動的に適応させるシステムを設計し、分布外のサンプルに対しても精度を損なわず効率を向上させること。

提案手法

• 事前学習済みCNNに、異なる深さに複数の早期終了を追加し、各早期終了に個人化用の軽量分類器を装備する。
• 最終的終了の出力を偽ラベル源として利用する自己教師付き蒸留技術を用いて、早期終了を訓練する。
• 推論時に信頼度しきい値を用いて、容易な入力に対して早期終了を許可し、FLOPsと遅延を低減する。
• 学習中に元のバックボーン重みを維持することで、崩壊的忘却を防ぎ、分布外入力に対して堅牢性を確保する。
• デバイスの能力と望ましい精度-遅延トレードオフに基づいて最適な終了を選択するオーケストレータを実装する。
• ラベルが利用可能であれば教師あり学習、そうでなければ最終終了からの偽ラベルを用いて自己教師付き学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みCNNにおける早期終了を、最小限の計算コストでオンデバイスで効率的に個人化できるか？
• RQ2 全ネットワーク微調整と比較して、早期終了によるオンデバイス個人化は、精度、遅延、学習時間の観点でどのように異なるか？
• RQ3 ラベルが乏しい状況下で、最終終了からの偽ラベルを用いた自己教師付き学習が、個人化精度をどの程度向上できるか？
• RQ4 早期終了個人化は、容易なサンプルの推論を高速化しつつ、分布外入力に対しても高い精度を維持できるか？
• RQ5 全ネットワーク適応と比較して、早期終了のみを個人化することで、モデルの効率性とリソース使用量にどのような影響があるか？

主な発見

• PersEPhonEEは、ラベルが利用可能な状況下で、オリジナルのグローバルモデルと比較して、個人化データにおいて最大15.9%高い精度を達成する。
• 1つの早期終了の学習時間は、全ネットワーク微調整と比較して最大23倍速く、最小限のリソース使用量で一晩でのオンデバイス学習が可能である。
• 早期終了のおかげで、推論スループットが最大3.2倍（ソフトラベル使用時2.2倍）向上し、容易な入力の遅延が低減されるが、精度は損なわれない。
• 全モデルと比較して、FLOPsは最大3.1倍、パラメータ数は最大25.1倍削減されつつ、同程度の精度を維持する。
• 分布外入力は最終終了にルーティングされるため、オリジナルモデルの精度を維持し、堅牢性を確保する。
• モバイルCPU上で2048サンプルの早期終了のオンデバイス学習にわずか1.7時間で完了し、実世界の展開可能性を示している。