[論文レビュー] Normalized Feature Distillation for Semantic Segmentation

Tao Liu, Xi Yang+1 more|arXiv (Cornell University)|Jul 12, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

本稿では、特徴応答の大きさ情報を除去することで、元の特徴からより効率的な知識蒸留を可能にする、シンプルでありながら効果的なセマンティックセグメンテーションのための知識蒸留法、正規化特徴蒸留（NFD）を提案する。NFDは、特徴の大きさ情報を除去することで、手動で知識形式を設計する必要なく、元の特徴からの知識伝達を効率化する。NFDは、Cityscapes、VOC 2012、ADE20Kの各データセットで最先端の結果を達成し、従来の特徴蒸留手法を顕著に上回る性能を発揮する。

ABSTRACT

As a promising approach in model compression, knowledge distillation improves the performance of a compact model by transferring the knowledge from a cumbersome one. The kind of knowledge used to guide the training of the student is important. Previous distillation methods in semantic segmentation strive to extract various forms of knowledge from the features, which involve elaborate manual design relying on prior information and have limited performance gains. In this paper, we propose a simple yet effective feature distillation method called normalized feature distillation (NFD), aiming to enable effective distillation with the original features without the need to manually design new forms of knowledge. The key idea is to prevent the student from focusing on imitating the magnitude of the teacher's feature response by normalization. Our method achieves state-of-the-art distillation results for semantic segmentation on Cityscapes, VOC 2012, and ADE20K datasets. Code will be available.

研究の動機と目的

• セマンティックセグメンテーションにおける学生モデルが教師モデルの正確な特徴応答を模倣することの非効率性と高い学習難易度を解決すること。
• 特徴蒸留における複雑な知識形式（例：注目マップ、グラム行列）の手動による事前知識に基づく設計の必要性を排除すること。
• 元の変更なしの特徴のみに焦点を当て、正規化された特徴分布に注目することで、蒸留性能を向上させること。
• 最小限の、しかし非常に効果的なアーキテクチャの変更で、最先端の蒸留性能を達成すること。

提案手法

• NFDは、蒸留損失を計算する前に、教師および学生ネットワークの特徴マップを正規化することで、効果的な知識伝達を妨げる大きさの差を除去する。
• 特徴マップに対して空間的およびチャネル次元にわたってL2正規化を適用し、方向情報は保持しながら大きさ情報を棄却する。
• 蒸留損失は、教師と学生の正規化済み特徴マップ間で計算され、特徴の方向の類似性を促進する標準的なL2損失が使用される。
• このアプローチは位置に依存せず、特に特徴がより汎用的で情報量が多いバックボーンの最終層で特に効果的である。
• 追加モジュール、注目メカニズム、敵対的訓練を必要としないため、軽量で容易に統合可能である。
• ハイパーパramータ感受性分析により、蒸留損失の重み係数に対して高いロバストネスが確認された。

実験結果

リサーチクエスチョン

• RQ1 元の特徴から大きさ情報を除去することで、新たな知識形式の設計なしに蒸留性能を顕著に向上させることができるか？
• RQ2 なぜ直接的な元の特徴の蒸留はしばしば性能が低くなるのか、そして効果的な知識伝達の主な障壁は何であるか？
• RQ3 特徴応答の正規化が、教師と学生の特徴間の整合性を向上させるのか？
• RQ4 ペアワイズ類似性やチャネルごとの確率に基づく手動で設計された知識形式に依存する既存手法と比較して、NFDはどのように異なるか？
• RQ5 NFDの有効性は、バックボーン、デコーダ、最終予測層などのネットワーク内の異なる蒸留位置で変化するのか？

主な発見

• NFDはCityscapesデータセットで最先端の性能を達成し、学生モデルのmIoUを72.65%から75.86%まで向上させた。
• ADE20Kデータセットでは、NFDが学生のmIoUを35.03%から38.55%まで向上させ、異なるデータセットへの汎用性が顕著に示された。
• ペアワイズ類似性（73.55% mIoU）、クラス内変動（73.90% mIoU）、チャネルごとの確率（73.98% mIoU）を用いる既存手法を大きく上回った。
• NFDは、特徴が最も汎用的で情報量が多いバックボーンの最終層で蒸留が行われる際に最も効果的である。
• NFDはハイパーパramータ設定に対して高いロバストネスを示し、損失重み係数の広い範囲で性能低下が最小限に抑えられた。
• アブレーションスタディにより、正規化による大きさの除去が、複雑な知識形式の設計ですらも上回ることが確認された。なお、すべての手法が同じバックボーン特徴層を使用した。