[論文レビュー] A Comprehensive Overhaul of Feature Distillation

Byeongho Heo, Jeesoo Kim+4 more|arXiv (Cornell University)|Apr 3, 2019

Advanced Neural Network Applications参考文献 28被引用数 12

ひとこと要約

本論文は、特徴の知識蒸留の設計を再考することで、知識転送を向上させる新しい特徴蒸留手法を提案する。主な特徴は、教師特徴の変換にマージンReLUを用い、ReLU活性化の前後に特徴を蒸留し、無情報な負の特徴を無視する部分的L2距離関数を適用することである。この手法は、ResNet50の学生ネットワークを用いてImageNetで21.65%のトップ1誤差を達成し、それよりも性能が優れるResNet152の教師をも上回り、分類、検出、セグメンテーションの各タスクで最先端の手法を上回る性能を示した。

ABSTRACT

We investigate the design aspects of feature distillation methods achieving network compression and propose a novel feature distillation method in which the distillation loss is designed to make a synergy among various aspects: teacher transform, student transform, distillation feature position and distance function. Our proposed distillation loss includes a feature transform with a newly designed margin ReLU, a new distillation feature position, and a partial L2 distance function to skip redundant information giving adverse effects to the compression of student. In ImageNet, our proposed method achieves 21.65% of top-1 error with ResNet50, which outperforms the performance of the teacher network, ResNet152. Our proposed method is evaluated on various tasks such as image classification, object detection and semantic segmentation and achieves a significant performance improvement in all tasks. The code is available at https://sites.google.com/view/byeongho-heo/overhaul

研究の動機と目的

• ネットワーク圧縮と性能向上のため、特徴蒸留手法の設計を調査・改善すること。
• 情報損失や不適切な特徴表現によって性能が低下する既存の蒸留手法の限界を解消すること。
• 教師および学生の変換、蒸留位置、距離関数の最適な設定を同定すること。
• マージンベースの損失関数と部分的距離関数を用いて、ReLU前の特徴を蒸留することで、学生の性能が顕著に向上することを示すこと。
• 画像分類、物体検出、セマンティックセグメンテーションを含む多様なタスクにおいて、本手法の有効性を検証すること。

提案手法

• 意味のある特徴境界を保持し、負の値からのノイズを低減するため、教師変換としてマージンReLU関数を導入する。
• 蒸留位置をReLU活性化の前後にシフトすることで、正の応答と負の応答の両方を転送し、活性化パターンの模倣を向上させる。
• 小さなマージン以下の負の特徴値を除外する部分的L2距離関数を提案し、無情報または有害な情報を転送しないようにする。
• 特徴次元を整合させ、表現の一貫性を維持するため、学生変換として1×1畳み込みを採用する。
• 教師ネットワークで訓練モードのバッチ正規化を適用し、性能向上が顕著に見られた。
• 訓練全体にわたり連続的な蒸留を適用し、安定的かつ効果的な知識転送を実現する。

実験結果

リサーチクエスチョン

• RQ1 蒸留位置（ReLU前 vs. 後）が知識転送性能に与える影響は？
• RQ2 負の特徴値を除外するように損失関数を変更すると、性能にどのような影響があるか？
• RQ3 教師ネットワークにマージンReLUを導入することで、活性化境界を保持し、蒸留性能が向上するか？
• RQ4 バッチ正規化モード（訓練 vs. 評価）の選択が、蒸留性能に与える影響は？
• RQ5 再設計された蒸留パイプラインは、複数のタスクで既存の最先端手法をどの程度上回るか？

主な発見

• 本手法は、ResNet50の学生ネットワークを用いてImageNetで21.65%のトップ1誤差を達成し、78.31%の精度を示すResNet152の教師をも上回った。
• 評価されたすべてのタスクで顕著な性能向上が見られた：画像分類（CIFAR-100、ImageNet）、物体検出（PASCAL VOC）、セマンティックセグメンテーション（PASCAL VOC）。
• アブレーションスタディの結果、ReLU前の蒸留が最大の性能向上（誤差1.56%の低減）をもたらし、次にマージンベース損失関数とバッチ正規化モードの影響が大きかった。
• 部分的L2距離関数は、無情報な負の特徴の転送を効果的に抑制し、一般化性能の向上とノイズ低減に寄与した。
• 従来の連続的蒸留手法よりも、学生と教師の出力間のKLダイバージェンスをより効果的に低減しており、教師の模倣が強力であることが示された。
• 教師ネットワークにおける訓練モードのバッチ正規化は、特に本手法において顕著な性能向上をもたらし、蒸留においてその重要性が浮き彫りになった。