[論文レビュー] Enabling Deep Learning on Edge Devices through Filter Pruning and Knowledge Transfer

Kaiqi Zhao, Yitao Chen+1 more|arXiv (Cornell University)|Jan 22, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、フィルタープルーニングと知識伝達を組み合わせた新規フレームワークを提案し、リsources制限のあるエッジデバイス上で、効率的で正確かつ段階的なオンデバイス学習を可能にする。モデルを薄く浅い構造に同時に圧縮し、クラウドベースのティーチャーモデルから問題解決の知識を転送することで、リアルタイムでの収束（3–6分）を達成し、古いカテゴリの90％以上の精度を維持しながら、再訓練なしに未学習カテゴリで78.92％のTop-1精度を達成する。

ABSTRACT

Deep learning models have introduced various intelligent applications to edge devices, such as image classification, speech recognition, and augmented reality. There is an increasing need of training such models on the devices in order to deliver personalized, responsive, and private learning. To address this need, this paper presents a new solution for deploying and training state-of-the-art models on the resource-constrained devices. First, the paper proposes a novel filter-pruning-based model compression method to create lightweight trainable models from large models trained in the cloud, without much loss of accuracy. Second, it proposes a novel knowledge transfer method to enable the on-device model to update incrementally in real time or near real time using incremental learning on new data and enable the on-device model to learn the unseen categories with the help of the in-cloud model in an unsupervised fashion. The results show that 1) our model compression method can remove up to 99.36% parameters of WRN-28-10, while preserving a Top-1 accuracy of over 90% on CIFAR-10; 2) our knowledge transfer method enables the compressed models to achieve more than 90% accuracy on CIFAR-10 and retain good accuracy on old categories; 3) it allows the compressed models to converge within real time (three to six minutes) on the edge for incremental learning tasks; 4) it enables the model to classify unseen categories of data (78.92% Top-1 accuracy) that it is never trained with.

研究の動機と目的

• メモリおよび計算リソースが制限されたエッジデバイスに大規模なディープラーニングモデルをデプロイおよび学習する課題に対処すること。
• ローカルデータからリアルタイムに学習することで、個人向けで応答性が高く、プライバシーを守るオンデバイスモデル学習を可能にすること。
• 従来のモデル圧縮および知識蒸留技術の限界を克服し、段階的学習をサポートしない、または未学習カテゴリへの一般化ができない問題を解決すること。
• 圧縮後でも微調整可能で、知識伝達に適した圧縮モデルを開発し、圧縮後の精度劣化を最小限に抑えること。
• 元のトレーニングデータやラベルにアクセスできない状況下でも、古いカテゴリを忘れないようにしながら、新しいカテゴリを学習できるオンデバイスモデルを実現すること。

提案手法

• フィルタープルーニングに基づくモデル圧縮法により、活性化パターンが弱く、類似した畳み込み層を有する不要なフィルタを削除し、モデルの深さと幅を削減する。
• 圧縮モデルは元のアーキテクチャを維持するため、ティーチャーモデル（クラウド）とストゥーデントモデル（エッジ）間での効果的な知識伝達が可能になる。
• 従来の出力スコア（ソフトマップ）や特徴マップの転送に加え、中間表現および問題解決プロセスそのものをティーチャーからストゥーデントに転送する、新しい知識伝達法を提案する。
• 知識伝達効率を最大化し、段階的学習中の深刻な忘却を軽減するために、最適なティーチャー・ストゥーデント層ペアを選択する。
• ストゥーデントモデルは、蒸留された知識を用いて新しいローカルデータ上で段階的に学習され、古いデータの再トレーニングなしにリアルタイムで適応可能になる。
• 未学習カテゴリの教師モデルの知識を活用することで、学生モデルが未だそのクラスを一度も見たことがない状況下でも、教師モデルの知識を活用した非教師あり学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 モデル圧縮技術により、エッジデプロイに適したモデルサイズを著しく削減しながらも、高い精度を維持できるか？
• RQ2 圧縮モデルが、最小限の遅延でオンデバイス上で段階的に微調整可能であり、深刻な忘却を引き起こさないか？
• RQ3 クラウドベースのティーチャーモデルからの知識伝達により、オンデバイスのストゥーデントモデルが未学習カテゴリを正確に分類できるか？
• RQ4 中間表現を通じて問題解決プロセスを転送することで、従来の知識蒸留（ソフトラベルや特徴マップの転送）に比べて性能が向上するか？
• RQ5 全パイプラインがエッジハードウェア上で段階的学習タスクにおいてリアルタイム収束（数分以内）を達成できるか？

主な発見

• 提案手法によるモデル圧縮法は、WRN-28-10のパラメータの99.36％を削減しながら、CIFAR-10で90％以上のTop-1精度を維持する。
• VGG-16では最大139倍の圧縮比を達成し、Caltech 101では10％未満の精度損失で実現した。
• エッジデバイス上での段階的学習タスクにおいて、圧縮モデルは3〜6分の収束時間を達成し、リアルタイム適応を可能にする。
• 知識伝達法により、ストゥーデントモデルは、未学習クラス（CIFAR-10）で78.92％のTop-1精度を達成したが、それらのクラスで訓練されたことはない。
• 段階的学習中でも、古いカテゴリで90％以上の高い性能を維持しており、深刻な忘却の効果的抑制を示している。
• 中間表現を通じた問題解決プロセスの転送は、従来の知識蒸留（FitNet）と比較して顕著に優れており、未学習クラスで78.92％の精度を達成したのに対し、FitNetでは0.00％の精度にとどまった。