[論文レビュー] Cross-Image Relational Knowledge Distillation for Semantic Segmentation

Chuanguang Yang, Helong Zhou+4 more|arXiv (Cornell University)|Apr 14, 2022

Advanced Neural Network Applications被引用数 9

ひとこと要約

本稿では、教師ネットワークから学生ネットワークへ複数の画像をまたいでグローバルなピクセル同士の関係およびピクセルと領域の関係を転送する、セマンティックセグメンテーションのための新しい知識蒸留フレームワーク、Cross-Image Relational Knowledge Distillation (CIRKD) を提案する。メモリバンクにピクセルキューと領域キューを用いることで長距離依存関係をモデル化し、CIRKD は最先端の手法を上回る性能を発揮し、Cityscapes で 75.42% の mIoU を達成。DeepLabV3 と PSPNet ではそれぞれ Channel-Wise KD より 0.48% と 0.79% の向上を示した。

ABSTRACT

Current Knowledge Distillation (KD) methods for semantic segmentation often guide the student to mimic the teacher's structured information generated from individual data samples. However, they ignore the global semantic relations among pixels across various images that are valuable for KD. This paper proposes a novel Cross-Image Relational KD (CIRKD), which focuses on transferring structured pixel-to-pixel and pixel-to-region relations among the whole images. The motivation is that a good teacher network could construct a well-structured feature space in terms of global pixel dependencies. CIRKD makes the student mimic better structured semantic relations from the teacher, thus improving the segmentation performance. Experimental results over Cityscapes, CamVid and Pascal VOC datasets demonstrate the effectiveness of our proposed approach against state-of-the-art distillation methods. The code is available at https://github.com/winycg/CIRKD.

研究の動機と目的

• 既存の知識蒸留手法がインライン画像内関係にのみ注目し、跨画像のセマンティック依存関係を無視するという限界を是正すること。
• 多様な訓練画像をまたいで、構造的でグローバルなピクセルレベルおよびピクセル-領域関係を転送することで、学生ネットワークの性能を向上させること。
• 固定された教師ネットワークからの埋め込みをメモリバンクに保持することで、長距離ピクセル依存関係をモデル化し、より強固で一般化された知識転送を可能にすること。
• 局所的またはチャネル別特徴量を超えるグローバルな関係的知識が、密度予測タスクにおける蒸留効果を顕著に向上させることを実証すること。

提案手法

• CIRKD は、事前学習済みの教師ネットワークからの固定された特徴埋め込みを格納するため、メモリバンクにピクセルキューと領域キューを構築する。これにより、現在のミニバッチを超えた多数の画像からの埋め込みにアクセス可能になる。
• KLダイバージェンスを用いて、現在のバッチのアンカーとピクセルキューから抽出した対照的埋め込み間の類似度分布を一致させることで、ピクセル同士の蒸留を実行する。
• 個々のピクセルとクラス別プロトタイプ（領域埋め込み）間の相対的類似度を転送するピクセル-領域蒸留を導入し、クラスレベルの意味的理解を強化する。
• 領域埋め込みは、特徴マップ内での同じセマンティッククラスに属するすべてのピクセル埋め込みの平均プーリングによって計算される。
• 蒸留中に類似度分布を滑らかにするために温度スケーリング戦略を適用し、τ = 0.1 が最適なパフォーマンスをもたらすことが判明した。
• 最終的な損失関数は、タスク損失、標準的なKD損失、および2つの新しい関係的蒸留損失 $L_{memory\_p2p}$ と $L_{memory\_p2r}$ を組み合わせており、これらは学生から教師へのKLダイバージェンスに基づいて訓練される。

実験結果

リサーチクエスチョン

• RQ1 インライン画像関係を超えて、グローバルな跨画像ピクセル関係を転送することで、セマンティックセグメンテーションにおける知識蒸留の性能が向上するか？
• RQ2 固定された埋め込みのメモリバンクを用いて長距離依存関係をモデル化することで、学生ネットワークの一般化性能と性能にどのような影響を与えるか？
• RQ3 密度予測タスクにおける蒸留において、ピクセル-ピクセル対比とピクセル-領域対比の関係的知識の相対的寄与度はどの程度か？
• RQ4 キューのサイズ、温度、対照的サンプル数といったハイパーパrameterが蒸留性能に与える影響は？

主な発見

• CIRKD は Cityscapes 検証セットで 75.42% の mIoU を達成し、学生と教師の性能差を 4.95% から 2.65% にまで縮小した。
• DeepLabV3 では Channel-Wise KD (CWD) より 0.48% mIoU の向上、PSPNet では 0.79% の向上を示し、最先端の蒸留手法を上回ることを実証した。
• メモリベースのピクセル-ピクセル蒸留 ($L_{memory\_p2p}$) は、標準的なKDに比べて 0.85% の mIoU の向上をもたらし、より広範なコンテキストを活用する利点を示した。
• アブレーションスタディの結果、ピクセル-ピクセル蒸留がピクセル-領域蒸留よりも情報量が多く、キューのサイズや対照的サンプル数の増加により性能が向上し、飽和点に達するまで向上が続くことが確認された。
• 最適なパフォーマンスは τ = 0.1、$K_p = 4096$ 個の対照的ピクセル埋め込み、$K_r = 1024$ 個の対照的領域埋め込みで達成され、高次元の類似度分布がより豊かな依存関係を捉えられることを示した。
• 本手法は DeepLabV3-MobileNetV2 や PSPNet-Res18 といった異なる学生アーキテクチャに対しても効果的にスケーリング可能であり、優れた一般化性能と適応性を示した。