[論文レビュー] Knowledge Adaptation for Efficient Semantic Segmentation

Tong He, Chunhua Shen+4 more|arXiv (Cornell University)|Mar 12, 2019

Advanced Neural Network Applications参考文献 27被引用数 20

ひとこと要約

本論文は、特徴量変換とアフィニティ蒸留を用いて、より大きな教師ネットワークから知識を転送することで、コンパクトな学生ネットワークの性能を向上させる、効率的なセマンティックセグメンテーションのための知識蒸留フレームワークを提案する。事前学習済みオートエノードによって高レベル特徴量を適応させ、長距離空間的依存関係を保持するアフィニティモジュールを用いることで、FLOPSの8%しか使用しないにもかかわらず、CityscapesでmIOUを2.5ポイント向上（72.7に）した。

ABSTRACT

Both accuracy and efficiency are of significant importance to the task of semantic segmentation. Existing deep FCNs suffer from heavy computations due to a series of high-resolution feature maps for preserving the detailed knowledge in dense estimation. Although reducing the feature map resolution (i.e., applying a large overall stride) via subsampling operations (e.g., pooling and convolution striding) can instantly increase the efficiency, it dramatically decreases the estimation accuracy. To tackle this dilemma, we propose a knowledge distillation method tailored for semantic segmentation to improve the performance of the compact FCNs with large overall stride. To handle the inconsistency between the features of the student and teacher network, we optimize the feature similarity in a transferred latent domain formulated by utilizing a pre-trained autoencoder. Moreover, an affinity distillation module is proposed to capture the long-range dependency by calculating the non-local interactions across the whole image. To validate the effectiveness of our proposed method, extensive experiments have been conducted on three popular benchmarks: Pascal VOC, Cityscapes and Pascal Context. Built upon a highly competitive baseline, our proposed method can improve the performance of a student network by 2.5\% (mIOU boosts from 70.2 to 72.7 on the cityscapes test set) and can train a better compact model with only 8\% float operations (FLOPS) of a model that achieves comparable performances.

研究の動機と目的

• 高解像度の特徴マップは精度を向上させるが計算コストを増加させるため、セマンティックセグメンテーションにおける精度と効率のトレードオフを解消すること。
• 出力ストライドが大きなコンパクトな学生ネットワークが、より大きなモデルの性能を再現または上回ることを可能にすること。
• 密度予測タスクにおける知識蒸留において、学生と教師ネットワーク間の特徴量分布の不一致を克服すること。
• パrameter や推論のFLOPSを追加せずに、蒸留知識に長距離空間的依存関係を保持すること。
• 特徴レベルおよび関係的知識の両方の転送を活用する、セマンティックセグメンテーションに特化した知識蒸留手法を開発すること。

提案手法

• 事前学習済みオートエノードに基づく知識変換器は、教師ネットワークの高次元かつ高解像度の特徴量を、学生への転送を容易にするためのコンパクトな潜在空間にマッピングする。
• 知識アダプタは、学生の最終特徴マップを教師の特徴量と同じ潜在空間に投影することで、両者の分布を一致させ、ドメインシフトを低減する。
• アフィニティ蒸留モジュールは、画像全体にわたる非局所的相互作用を計算し、教師および学生の特徴量における長距離依存関係を捉える。
• 学生は、ハードラベルとのクロスエントロピー損失、変換された特徴量からの知識蒸留、および非局所的注意マップからのアフィニティ蒸留を組み合わせたマルチタスク損失を用いて訓練される。
• 本手法はパrameter や推論のFLOPSを追加せず、リアルタイムデプロイに適している。
• 本フレームワークは、Pascal VOC、Cityscapes、Pascal Contextのベンチマークで、一貫した訓練プロトコルを用いて、標準的な最適化手法でエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 出力ストライドが大きな軽量セマンティックセグメンテーションモデルの性能を、知識蒸留が効果的に向上させられるか。
• RQ2 セマンティックセグメンテーションにおける知識転送の過程で、学生と教師ネットワーク間の特徴量分布の不一致をどのように軽減できるか。
• RQ3 モデルの複雑さを増加させずに、蒸留知識に長距離空間的依存関係をどの程度まで保持できるか。
• RQ4 知識適応を用いることで、顕著にFLOPSを削減したコンパクトな学生ネットワークが最先端の性能を達成できるか。
• RQ5 標準的な知識蒸留や他の軽量モデルと比較して、本手法は精度と効率のトレードオフにおいて優れているか。

主な発見

• Cityscapesのテストセットでは、提案手法により学生モデルのmIOUが70.2%から72.7%に2.5ポイント向上し、同等の高精度モデルのFLOPSの8%しか使用しなかった。
• Pascal VOCのバリデーションセットでは、MobileNetV2ベースラインが1.0 mIOUポイント向上し、75.8 mIOUを達成した。
• Pascal Contextデータセットでは、ベースライン性能が1.3 mIOUポイント向上し、異なるデータセットへの一般化能力を示した。
• アブレーションスタディにより、知識適応およびアフィニティ蒸留モジュールの両方が不可欠であることが確認され、特に長距離コンテキストモデリングの向上に寄与した。
• 追加のパrameter やFLOPSを追加せずに、他の軽量モデルを上回る精度を達成した。これは、本手法の効率性と有効性を裏付けるものである。
• 可視化結果から、本手法は学生ベースラインおよび標準的な蒸留手法よりも、より正確で詳細を保持したセグメンテーションマップを生成することがわかった。