[論文レビュー] Moonshine: Distilling with Cheap Convolutions

Elliot J. Crowley, Gavin Gray+1 more|arXiv (Cornell University)|Nov 7, 2017

Industrial Vision Systems and Defect Detection参考文献 38被引用数 49

ひとこと要約

この論文は、元のアーキテクチャを維持したまま、深層ネットワーク内の標準的な畳み込みブロックを安価なグループ化畳み込みブロック（例：G(N)ブロック）に置き換えることで、メモリ圧縮を実現する新しいモデル distillation 法「Moonshine」を提案する。注意情報の転送を用いた distillation により、最大75%のパラメータ削減を達成しながら高い精度を維持し、CIFAR-10、CIFAR-100、ImageNet、Cityscapesの各タスクで直接訓練された小型モデルを上回る性能を示した。

ABSTRACT

Many engineers wish to deploy modern neural networks in memory-limited settings; but the development of flexible methods for reducing memory use is in its infancy, and there is little knowledge of the resulting cost-benefit. We propose structural model distillation for memory reduction using a strategy that produces a student architecture that is a simple transformation of the teacher architecture: no redesign is needed, and the same hyperparameters can be used. Using attention transfer, we provide Pareto curves/tables for distillation of residual networks with four benchmark datasets, indicating the memory versus accuracy payoff. We show that substantial memory savings are possible with very little loss of accuracy, and confirm that distillation provides student network performance that is better than training that student architecture directly on data.

研究の動機と目的

• ウェアラブル機器や組み込みシステムなどリソース制約の厳しいデバイスに大規模でメモリを食うニューラルネットワークを効率的にデプロイする課題に対処すること。
• アーキテクチャの縮小（例：スリムナーリングや浅いネットワーク）と比較して、ブロック置換によるアーキテクチャ的圧縮がより効果的かどうかを調査すること。
• 学生ネットワークの再設計を必要とせず、教師と同じハイパーパramータを再利用する、即席型のdistillation手法を開発すること。
• 標準的な畳み込みブロックを安価なグループ化またはディープワイズ分離畳み込みブロックに置き換えることで、性能に損なわれることなく圧縮効率が向上することを実証すること。

提案手法

• ResNet や ERFNet の標準的な残差ブロックを、グループ化畳み込み（またはボトルネック構造を含む）を用いる安価なグループ化畳み込みブロック（G(N)ブロック）に置き換える。
• 教師ネットワークの中間層における注意マップを模倣するように学生ネットワークを訓練する、注意情報転送を用いた知識 distillation を適用する。
• 元の教師学習と同一の最適化手法、学習率スケジューリング、データオーグメンテーションを用い、最小限の再設定で済ませる。
• 交差エントロピー損失と注意情報転送損失を組み合わせた重み付き損失項を導入し、各層ごとにハイパーパramータ β を調整して2つの目的をバランスさせる。
• 結合損失を用いて学生ネットワークをエンドツーエンドに訓練し、教師から分類知識と特徴レベルの知識の両方を学習可能にする。
• 教師ネットワークの元のアーキテクチャと深さを維持し、パラメータ数を削減するために畳み込みブロック構造のみを置換する。

実験結果

リサーチクエスチョン

• RQ1 標準的な畳み込みブロックを安価なグループ化畳み込みブロックに置き換えることで、アーキテクチャの縮小よりも優れたモデル圧縮が達成できるか？
• RQ2 注意情報転送を用いた distillation は、学習を初期化から行う場合と比較して、圧縮された学生ネットワークの性能を顕著に向上させるか？
• RQ3 画像分類およびセマンティックセグメンテーションタスクにおいて、高い精度を維持したまま、パラメータ数をどの程度削減できるか？
• RQ4 分類タスクと密度予測タスク（例：セマンティックセグメンテーション）の両方に対して、最小限のハイパーパramータチューニングで distillation プロセスが有効であるか？
• RQ5 安価なブロックを搭載した学生ネットワークが、教師と同じトレーニング設定を用いる場合、より小さい直接訓練済みの学生ネットワークを上回る性能を示せるか？

主な発見

• CIFAR-100では、810万パラメータのRes34-G(4)学生モデルが、320万パラメータのRes18-0.5（top-5精度37.20%）を上回る26.61%のtop-5精度を達成したが、パラメータ数は少ない。
• ImageNetでは、Res34-G(N)学生モデルがパラメータ数を2180万から310万に（85.8%削減）した一方で、top-5精度は32.98%を維持した。一方、直接学習した小型のRes34-G(N)モデルでは30.16%にとどまった。
• Cityscapesにおけるセマンティックセグメンテーションでは、ERFNet-G(N)学生モデルがパラメータ数を206万から49万に（76.3%削減）し、distillationを用いることで68.11%のIoUを達成した。一方、初期化から学習した場合は65.29%にとどまった。
• distillationプロセスにより、学習を初期化から行うよりも高い性能を学生ネットワークが達成した。これは知識転送の恩恵を示している。
• CIFAR-10では、75%のパラメータ削減（2180万から540万）を達成したが、top-1精度はわずか1.5%の低下にとどまった。
• 本手法は設計およびトレーニングの面で極めて効率的である。ハイパーパramータチューニングやアーキテクチャの再設計が不要で、教師モデルと同じトレーニングプロトコルを再利用できる。