[論文レビュー] Do Deep Convolutional Nets Really Need to be Deep and Convolutional?

Gregor Urban, Krzysztof J. Geras+7 more|PolyPublie (École Polytechnique de Montréal)|Mar 17, 2016

Advanced Neural Network Applications参考文献 22被引用数 107

ひとこと要約

本論文は実証的に、CIFAR-10 では浅いモデルはディープ畳み込みネットに及ばず、蒸留やハイパーパラメータ最適化を行っても同等にはなり得ないことを示している。高精度を得るには同じパラメータ予算の範囲内で複数の畳み込み層が不可欠である。

ABSTRACT

Yes, they do. This paper provides the first empirical demonstration that deep convolutional models really need to be both deep and convolutional, even when trained with methods such as distillation that allow small or shallow models of high accuracy to be trained. Although previous research showed that shallow feed-forward nets sometimes can learn the complex functions previously learned by deep nets while using the same number of parameters as the deep models they mimic, in this paper we demonstrate that the same methods cannot be used to train accurate models on CIFAR-10 unless the student models contain multiple layers of convolution. Although the student models do not have to be as deep as the teacher model they mimic, the students need multiple convolutional layers to learn functions of comparable accuracy as the deep convolutional teacher.

研究の動機と目的

• CIFAR-10 で等しいパラメータ予算の下、浅いネットが深い畳み込みCNNに匹敵できるかを動機づける。
• ベイズ最適化を用いた蒸留（教師-学生法）の有効性を、浅いCNNに対して評価する。
• ディープ教師のアンサンブルからのソフトターゲットとハードターゲットで訓練した浅いモデルの性能を比較する。
• 浅いモデルでディープモデルの精度に近づくには、畳み込み層を何段必要かを定量化する。

提案手法

• 拡張を豊富に用いたCIFAR-10上で、最先端の深層畳み込み教師アンサンブル（16個のCNN）を訓練する。
• 蒸留を用いて、アンサンブルのロジットを模倣する浅い学生モデルを訓練する（ソフトターゲット）。ハードなone-hotラベルではなく。
• 浅いモデルに0–1の畳み込み層を適用して線形ボトルネックを導入し、学習を加速する。
• 学習率、モーメンタム、重みスケール、ネットワーク幅に対するベイズハイパーパラメータ最適化（Spearmintによるガウス過程）を実行する。
• HSVベースのシフトとランダムクロップ/ミラーでデータを拡張し、モデル圧縮のための大規模な転送セットを作成する。
• 浅い学生をアーキテクチャ（1–4層の畳み込み、さまざまなパラメータ予算）で評価し、深い教師アンサンブルと比較する。

実験結果

リサーチクエスチョン

• RQ1 蒸留で訓練した場合、ディープCNNと同等のパラメータ数を持つ浅いネットがCIFAR-10の精度を深いモデルに近づけられるか。
• RQ2 ソフトターゲットを用いる蒸留は、浅いアーキテクチャがCIFAR-10で深い畳み込みネットとのギャップを埋められるか。
• RQ3 固定パラメータ予算の下で、浅いモデルが競争力のある性能を達成するには畳み込み層を何段必要か。
• RQ4 データ拡張とハイパーパラメータ最適化の役割は何か。

主な発見

• 同じパラメータ予算内では、浅いモデルは蒸留を用いても深い畳み込みネットには匹敵できない。
• 16個の深いCNNのアンサンブルは検証精度93.8%を達成（検証セットで94.0%、最終テストセットで93.8%）。
• 浅い学生CNNは高いCIFAR-10精度を達成するには複数の畳み込み層（3–4）が必要で、1–2層では深いモデルに遅れを取る。
• 蒸留は浅いモデルをハードターゲット訓練より大幅に改善し、特に非常に浅いアーキテクチャ（例：1層）で顕著。
• 畳み込みのない浅い全結合MLPは著しく劣る（蒸留でも約70%台対CNNは>90%）。
• ハイパーパラメータ最適化と蒸留を用いても、ディープな畳み込みネットが詰め寄せる“畳み込みのギャップ”が残り、浅い学生には完全には埋まらない。
• 最良の単一層MLPは70.2%の精度を達成し、CIFAR-10上で非畳み込みの浅いモデルの限界を示している（蒸留を用いても）。