[論文レビュー] Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion

Hongxu Yin, Pavlo Molchanov+6 more|arXiv (Cornell University)|Dec 18, 2019

Domain Adaptation and Few-Shot Learning参考文献 75被引用数 48

ひとこと要約

DeepInversion は pretrained CNN からトレーニングデータなしで高忠実度のクラス条件付き画像を合成し、データフリーな知識移転、プルーニング、継続学習を可能にする； Adaptive DeepInversion は教師-学生の不一致を活用して画像多様性を高める。

ABSTRACT

We introduce DeepInversion, a new method for synthesizing images from the image distribution used to train a deep neural network. We 'invert' a trained network (teacher) to synthesize class-conditional input images starting from random noise, without using any additional information about the training dataset. Keeping the teacher fixed, our method optimizes the input while regularizing the distribution of intermediate feature maps using information stored in the batch normalization layers of the teacher. Further, we improve the diversity of synthesized images using Adaptive DeepInversion, which maximizes the Jensen-Shannon divergence between the teacher and student network logits. The resulting synthesized images from networks trained on the CIFAR-10 and ImageNet datasets demonstrate high fidelity and degree of realism, and help enable a new breed of data-free applications - ones that do not require any real images or labeled data. We demonstrate the applicability of our proposed method to three tasks of immense practical importance -- (i) data-free network pruning, (ii) data-free knowledge transfer, and (iii) data-free continual learning. Code is available at https://github.com/NVlabs/DeepInversion

研究の動機と目的

• トレーニングデータが利用できない、またはプライベートな場合のデータフリー知識移転を動機づける。
• 固定された教師ネットワークからクラス条件付き画像を合成する DeepInversion を導入する。
• Adaptive DeepInversion によって教師-学生の不一致を活用して画像の多様性を高める。
• CIFAR-10 と ImageNet でデータフリーのプルーニング、データフリーの知識移転、データフリーの継続学習を示す。

提案手法

• 訓練済み CNN を反転させ、ランダムノイズからクラス条件付き画像を合成する。
• 各層のバッチ正規化のランニング統計を用いて中間特徴マップを正則化し、訓練データの統計と一致させる。
• 合成画像の層ごとの平均と分散をBNのランニング統計に整合させる特徴分布正則化項を導入する。
• Adaptive DeepInversion では、Jensen-Shannon 発散に基づく競合損失を追加して、教師-学生の不一致を促進して画像のカバレッジを広げる。
• 合成画像をデータフリーのプルーニング、データフリーの知識移転、データフリーの継続学習タスクに適用する。
• レイテンシをフィルター重要度に組み込んでハードウェア対応のプルーニングを提供し、リソースを抑えつつ性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 元のトレーニングデータにアクセスせずに高忠実度のクラス条件付き画像を合成できるか？
• RQ2 実データなしで、データフリーに合成した画像はどの程度知識移転とプルーニングを支援できるか？
• RQ3 Adaptive DeepInversion を通じて学生をループに導入することは、画像の多様性と下流タスクの性能を向上させるか？
• RQ4 CIFAR-10 および ImageNet で、データフリー知識移転はデータセット依存の蒸留とどのように比較されるか？
• RQ5 データフリー手法は元データなしで継続学習を可能にするか？

主な発見

• DeepInversion は事前学習済みネットワークの BN のランニング統計のみを用いて高忠実度のクラス条件付き画像を生成する。
• Adaptive DeepInversion は教師-学生の不一致を最大化することで画像の多様性をさらに向上させる。
• データフリーのプルーニングは競争力のある精度と遅延利得を達成し、元データへの依存を減らす。
• 合成データによるデータフリー知識移転は CIFAR-10 でほぼ教師モデル並みの性能を、ImageNet では大きな精度を、最小限の損失で達成する。
• データフリー継続学習は逐次的性能を改善し、元データへアクセスできるオラクル法に近づく。
• 全体として、このアプローチは実画像やラベルを必要とせず、実用的なデータフリーアプリケーションを可能にする。