[論文レビュー] In Teacher We Trust: Learning Compressed Models for Pedestrian Detection

Jonathan Shen, Noranart Vesdapunt+2 more|arXiv (Cornell University)|Dec 1, 2016

Advanced Neural Network Applications参考文献 4被引用数 21

ひとこと要約

本論文は、高次元のヒント層、教師の信頼度に基づく不確実性対応損失、および手作業で設計されたACF特徴量を活用することで、大規模な歩行者検出モデルを小規模で効率的な学生ネットワークに圧縮する知識蒸留フレームワークを提案する。この手法により、Caltechデータセット上でAlexNet（57Mパラメータ）を上回る性能を達成し、パラメータ数を400倍（157Kパラメータ）に削減するとともに、推論速度は8倍速く、メモリ使用量は21倍低減した。

ABSTRACT

Deep convolutional neural networks continue to advance the state-of-the-art in many domains as they grow bigger and more complex. It has been observed that many of the parameters of a large network are redundant, allowing for the possibility of learning a smaller network that mimics the outputs of the large network through a process called Knowledge Distillation. We show, however, that standard Knowledge Distillation is not effective for learning small models for the task of pedestrian detection. To improve this process, we introduce a higher-dimensional hint layer to increase information flow. We also estimate the variance in the outputs of the large network and propose a loss function to incorporate this uncertainty. Finally, we attempt to boost the complexity of the small network without increasing its size by using as input hand-designed features that have been demonstrated to be effective for pedestrian detection. We succeed in training a model that contains $400 imes$ fewer parameters than the large network while outperforming AlexNet on the Caltech Pedestrian Dataset.

研究の動機と目的

• 歩行者検出における標準的知識蒸留の非効率性（出力次元が2値分類のため低いため）に対処する。
• 正確性を損なわず、リアルタイム歩行者検出のためのモデルサイズと推論コストを低減する。
• 教師ネットワークからの不確実性推定を組み込むことで、知識蒸留を改善する。
• 深層学習の特徴抽出能力にもかかわらず、手作業で設計された特徴量（例：ACF）が小規模な学生ネットワークの性能向上に寄与するかを検証する。
• 大規模モデル（例：AlexNet）を凌駕する性能を示すコンactな学生モデルが、顕著に小型かつ高速であることを実証する。

提案手法

• 教師ネットワークの最終層の直前に、出力次元を高めるために全結合ヒント層を導入する。
• 推論時におけるドロップアウトを用いて、教師の予測の分散を推定し、予測の不確実性をモデル化する。
• 教師の予測共分散を組み込んだ新しい損失関数を設計し、学生の学習を改善する。
• 学生ネットワークの入力にアグリゲートチャネル特徴量（ACF）を用いることで、モデルサイズを増大させずに性能を向上させる。
• 学生ネットワークを、教師からのソフトラベル、ヒント層出力、不確実性対応損失の組み合わせで訓練する。
• 複数のバリエーションを用いた知識蒸留を適用：標準KD、ヒント付きKD、信頼度付きKD、およびヒントと信頼度の両方を含むKD。

実験結果

リサーチクエスチョン

• RQ1 分類タスクが2値分類であるという性質を考慮すると、標準的知識蒸留は大規模な歩行者検出モデルを効果的に圧縮できるか？
• RQ2 高次元ヒント層を導入することで、歩行者検出における知識蒸留の性能が向上するか？
• RQ3 教師ネットワークにおける予測不確実性のモデリングが、学生ネットワークの一般化性能を向上させるか？
• RQ4 手作業で設計された特徴量（例：ACF）は、深層学習の特徴抽出能力にもかかわらず、小規模な学生ネットワークの性能向上に寄与するか？
• RQ5 教師のパラメータ数の1/400である学生ネットワークが、AlexNetのような大規模モデルを上回る性能を示せるか？

主な発見

• ヒント層と不確実性対応損失を組み合わせた本手法は、Caltechデータセット上でログ平均ミス率18.0％に低減し、標準KDや再訓練からの学習を上回った。
• わずか157,000パラメータの学生モデルが、教師ネットワーク（6300万パラメータ）よりもログ平均ミス率4.9％低い性能を達成した。これは、圧縮による顕著な性能向上を示している。
• Titan X GPU上での実行において、学生モデルは24ms対比で3ms（8倍速）で推論が可能であり、メモリ使用量も5.05GB対240MB（21倍低減）であった。
• ヒント層と不確実性モデリングの両方を組み合わせた場合が最も優れた性能を示し、最小モデルではミス率22.4％に低下した。これは標準KDの25.2％よりも顕著に改善された。
• ヒントと信頼度モジュールを併用した場合、ACF特徴量は学生の性能向上に寄与したが、RGB入力を用いたモデルはACFベースのモデルを上回った。これは、RGBが深層学習特徴量において依然として優位であることを示している。
• 学生モデルは正確性を維持または向上させながら、8倍の高速化と21倍のメモリ削減を達成した。これは、パラメータ効率性が性能の犠牲を伴わないことを証明している。