[論文レビュー] TinyTL: Reduce Memory, Not Parameters for Efficient On-Device Learning

Han Cai, Chuang Gan+2 more|arXiv (Cornell University)|Jan 1, 2020

Machine Learning and ELM被引用数 43

ひとこと要約

TinyTLは、ネットワーク重みを凍結し、バイアスモジュールのみを学習することで、中間活性化を保存する必要をなくし、メモリ効率の良いデバイス内学習手法を提案する。ライトウェートリーマンドモジュールを導入することで、わずか3.8%のメモリオーバーヘッドで、全結合微調整比で最大6.5倍のメモリ削減と最大33.8%の精度向上を達成し、Inception-V3では完全微調整と同等の性能を維持する。

ABSTRACT

On-device learning enables edge devices to continually adapt the AI models to new data, which requires a small memory footprint to fit the tight memory constraint of edge devices. Existing work solves this problem by reducing the number of trainable parameters. However, this doesn't directly translate to memory saving since the major bottleneck is the activations, not parameters. In this work, we present Tiny-Transfer-Learning (TinyTL) for memory-efficient on-device learning. TinyTL freezes the weights while only learns the bias modules, thus no need to store the intermediate activations. To maintain the adaptation capacity, we introduce a new memory-efficient bias module, the lite residual module, to refine the feature extractor by learning small residual feature maps adding only 3.8% memory overhead. Extensive experiments show that TinyTL significantly saves the memory (up to 6.5x) with little accuracy loss compared to fine-tuning the full network. Compared to fine-tuning the last layer, TinyTL provides significant accuracy improvements (up to 33.8%) with little memory overhead. Furthermore, combined with feature extractor adaptation, TinyTL provides 7.5-12.9x memory saving without sacrificing accuracy compared to fine-tuning the full Inception-V3.

研究の動機と目的

• デバイス内継続的学習におけるメモリボトルネックを解消する。ここでは、パrameterではなく活性化がメモリ使用量を支配する。
• リソース制約のあるエッジデバイス上で、モデルの適応能力を損なわず、メモリ使用量を削減する。
• トレーナブルパラメータと活性化の保存を最小限に抑えつつ、高い精度を維持する手法を開発する。
• バイアス学習と軽量リーマンド適応に焦点を当てることで、エッジデバイス上で深層ネットワークの効率的な微調整を実現する。

提案手法

• すべてのネットワーク重みを凍結し、バイアスモジュールのみを学習することで、中間活性化を保存する必要を排除する。
• わずか3.8%のメモリオーバーヘッドで、小さなリーマンド特徴マップを学習するライトウェートリーマンドモジュールを導入する。
• ライトウェートリーマンドモジュールを用いて、メモリ効率の良い方法で特徴抽出器を精緻化する。
• バイアスのみの学習と特徴抽出器の適応を組み合わせることで、モデル性能を維持する。
• 勾配と活性化の保存を回避するパラメータ効率の良い微調整戦略を採用する。
• 既存の事前学習済みモデル（例：Inception-V3）にアーキテクチャの変更を加えずに適合可能であるように設計する。

実験結果

リサーチクエスチョン

• RQ1 中間活性化の保存を回避することで、デバイス内学習のメモリ効率を著しく向上させられるか？
• RQ2 ライトウェートリーマンドモジュールを用いてバイアスモジュールのみを学習することで、完全微調整と比較してモデル精度が保持または向上するか？
• RQ3 バイアスのみの学習は、最後のレイヤー微調整と比較して、メモリ効率と精度の両面で優れているか？
• RQ4 バイアス学習と特徴抽出器の適応の組み合わせにより、高いメモリ削減と高い精度の両立が可能か？
• RQ5 エッジデバイス上でパラメータ効率の良い適応を適用する際、メモリ削減と精度損失のトレードオフはどのようになるか？

主な発見

• TinyTLは、全ネットワーク微調整と比較して最大6.5倍のメモリ削減を達成し、精度の損失は最小限に抑えられる。
• 最後のレイヤー微調整と比較すると、TinyTLは最大33.8%の精度向上を達成するが、ライトウェートリーマンドモジュールによるメモリオーバーヘッドはわずか3.8%である。
• 特徴抽出器の適応と組み合わせることで、TinyTLは、完全なInception-V3微調整と比較して、7.5〜12.9倍のメモリ削減を実現しながら、精度を損なわない。
• ライトウェートリーマンドモジュールはわずか3.8%のメモリオーバーヘッドで、効果的な特徴精緻化を可能にする。
• 重みの凍結とバイアスのみの学習により、活性化の保存を排除することで、TinyTLはエッジデバイス上で高いパフォーマンスを維持する。
• 広範な実験により、TinyTLが複数のベンチマークで両立可能なメモリ効率と高い精度を実現することが確認された。