[論文レビュー] TinyTL: Reduce Activations, Not Trainable Parameters for Efficient On-Device Learning

Han Cai, Chuang Gan+2 more|arXiv (Cornell University)|Jul 22, 2020

Advanced Neural Network Applications参考文献 61被引用数 33

ひとこと要約

TinyTLは特徴抽出器の重みを凍結し、バイアスのみを訓練する。軽量な残差モジュールを用いて特徴を洗練させ、全体のファインチューニングと同等以上の精度を保ちつつ、最大12.9×の大きなメモリ節約を実現する。

ABSTRACT

On-device learning enables edge devices to continually adapt the AI models to new data, which requires a small memory footprint to fit the tight memory constraint of edge devices. Existing work solves this problem by reducing the number of trainable parameters. However, this doesn't directly translate to memory saving since the major bottleneck is the activations, not parameters. In this work, we present Tiny-Transfer-Learning (TinyTL) for memory-efficient on-device learning. TinyTL freezes the weights while only learns the bias modules, thus no need to store the intermediate activations. To maintain the adaptation capacity, we introduce a new memory-efficient bias module, the lite residual module, to refine the feature extractor by learning small residual feature maps adding only 3.8% memory overhead. Extensive experiments show that TinyTL significantly saves the memory (up to 6.5x) with little accuracy loss compared to fine-tuning the full network. Compared to fine-tuning the last layer, TinyTL provides significant accuracy improvements (up to 34.1%) with little memory overhead. Furthermore, combined with feature extractor adaptation, TinyTL provides 7.3-12.9x memory saving without sacrificing accuracy compared to fine-tuning the full Inception-V3.

研究の動機と目的

• 限られたエッジデバイスのメモリとエネルギー予算を背景に、メモリ効率の高いオンデバイス学習を動機づける。
• 訓練メモリのボトルネックを、学習可能なパラメータではなくアクティベーション（活性化）として特定する。
• TinyTLを提案し、重みを凍結してバイアスを訓練し、適応能力を維持するために軽量な残差モジュールを追加する。
• 特徴抽出機の適応を含む、複数のデータセットとバックボーンにわたるメモリ-精度のトレードオフを評価する。

提案手法

• バックプロパゲーション時のメモリを分析し、訓練メモリは重みではなくアクティベーションが支配的であることを示す。
• 特徴抽出機の重みを凍結し、バイアスのみを訓練してアクティベーションの格納を削減する。
• 中間特徴を洗練させるための軽量残差モジュールを導入し、メモリオーバーヘッドを約3.8%程度に抑える。
• グループ畳み込みと制御された解像度/幅を用いて、軽量残差内のアクティベーションサイズを最小化する。
• 小バッチのオンデバイス訓練適合性のため、BNをGNに置換する。
• Once-For-Allネットワークを介した特徴抽出機の適応を組み込み、タスク特化のバックボーンを選択する。

実験結果

リサーチクエスチョン

• RQ1 重みを凍結し、バイアスのみを訓練することで、精度の大幅な低下を招くことなくオンデバイス訓練メモリを大幅に削減できるか？
• RQ2 軽量残差モジュールは、多様なデータセットにおいて凍結した重みを補うのに十分な容量を提供するか？
• RQ3 複数のバックボーンにおいて、特徴抽出機の適応の有無でTinyTLはどう性能を発揮するか？
• RQ4 異なる入力解像度およびバッチサイズにTinyTLを適用した場合のメモリと精度のトレードオフは何か？

主な発見

• 完全なネットワークをファインチューニングするのと比べて、メモリフットプリントを最大12.9×削減。
• 軽量残差付きのTinyTL変種（L+B）は、バイアスのみやノーマルのみのファインチューニングベースラインより精度で上回る。
• 高解像度入力(320)では、TinyTL-L+Bはフルファインチューニングと同等の精度を保ちつつ約6×のメモリを節約。
• 特徴抽出機適応（Once-For-All）と組み合わせたTinyTLは、Inception-V3のファインチューニングと同等の精度で、7.5–12.9×のメモリ節約を達成。
• バッチサイズ1での訓練はメモリをさらに約16MBに削減し、SRAMベースの訓練を可能にする。
• 軽量残差モジュールは、バイアスのみアプローチに比べた適応能力を維持するために不可欠である。