[論文レビュー] Triple-View Knowledge Distillation for Semi-Supervised Semantic Segmentation

Ping Li, Junjie Chen+3 more|arXiv (Cornell University)|Sep 22, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、Pascal VOC 2012 および Cityscapes ベンチマークで、計算コストを低減しつつ最先端の性能を達成する半教師付きセマンティックセグメンテーションのための三重視覚知識蒸留フレームワーク、TriKD を提案する。TriKD は、局所的な空間的詳細を捉える純粋な ConvNet、長距離のグローバルコンテキストを捉える純粋な Vision Transformer、およびそれらのハイブリッドアーキテクチャを用いた三つの異なるバックボーンを採用し、特徴の多様性とグローバルコンテキストモデリングを向上させる。空間的損失および注目損失を用いた知識蒸留を適用し、周波数ドメインチャネル注目を備えた二重周波数デコーダーを採用することで、優れた性能を実現する。

ABSTRACT

To alleviate the expensive human labeling, semi-supervised semantic segmentation employs a few labeled images and an abundant of unlabeled images to predict the pixel-level label map with the same size. Previous methods often adopt co-training using two convolutional networks with the same architecture but different initialization, which fails to capture the sufficiently diverse features. This motivates us to use tri-training and develop the triple-view encoder to utilize the encoders with different architectures to derive diverse features, and exploit the knowledge distillation skill to learn the complementary semantics among these encoders. Moreover, existing methods simply concatenate the features from both encoder and decoder, resulting in redundant features that require large memory cost. This inspires us to devise a dual-frequency decoder that selects those important features by projecting the features from the spatial domain to the frequency domain, where the dual-frequency channel attention mechanism is introduced to model the feature importance. Therefore, we propose a Triple-view Knowledge Distillation framework, termed TriKD, for semi-supervised semantic segmentation, including the triple-view encoder and the dual-frequency decoder. Extensive experiments were conducted on two benchmarks, \ie, Pascal VOC 2012 and Cityscapes, whose results verify the superiority of the proposed method with a good tradeoff between precision and inference speed.

研究の動機と目的

• 既存のコトレーニングベースの半教師付きセマンティックセグメンテーション手法における特徴の多様性の不足とグローバルコンテキストモデリングの不十分さを解消すること。
• 単純な連結や 1×1 畳み込みによる特徴の重複とメモリオーバーヘッドを低減すること。
• ConvNet、Vision Transformer、およびそれらのハイブリッドアーキテクチャからの補完的表現を活用してモデルの汎化性能を向上させること。
• 軽量な学生ネットワークへの知識蒸留により、性能を維持したまま効率的な推論を可能にすること。

提案手法

• 純粋な ConvNet（局所的な空間的詳細のため）、純粋な Vision Transformer（長距離のグローバルコンテキストのため）、およびハイブリッド ConvNet-ViT（補完的特徴学習のため）の三つの異なるバックボーンを用いた三重視覚エンコーダーを導入する。
• 空間損失（低レベルの局所構造の転送）と注目損失（高レベルのグローバル意味の転送）の二つの損失成分を用いた知識蒸留を採用し、教師モデルから学生ネットワークへの知識転送を実現する。
• 高速フーリエ変換を用いて空間から周波数ドメインに特徴を変換する二重周波数デコーダーを設計し、周波数ドメインにおける特徴の重要度モデリングを可能にする。
• 次元削減の前段階で、重要な特徴を効果的に保持する二重周波数チャネル注目メカニズムを適用し、情報損失を最小限に抑える。
• 学生と教師の予測の一貫性を向上させるために、クロス擬似ラベル損失を用い、弱い教師信号のバランスを調整可能な学習可能なハイパーパrameterを導入する。
• ラベル付きデータに対する教師付き損失、知識蒸留損失、およびクロス擬似ラベル損失の組み合わせにより学生ネットワークを訓練し、推論は軽量なハイブリッド ConvNet-ViT のみを用いる。

実験結果

リサーチクエスチョン

• RQ1 三重視覚エンコーダーにおける三つの異なるバックボーンアーキテクチャの使用が、半教師付きセマンティックセグメンテーションにおける特徴の多様性とモデルの汎化性能を顕著に向上させるか？
• RQ2 空間的および注目ベースの損失を用いた知識蒸留が、多様な教師ネットワークから単一の学生ネットワークへ局所的およびグローバルな意味的知識を効果的に転送できるか？
• RQ3 周波数ドメインにおけるチャネル注目を備えた二重周波数デコーダーが、特徴の重複を低減し、FLOPs やパラメータ数を削減しながらセグメンテーション精度を向上させられるか？
• RQ4 知識蒸留とクロス擬似ラベル損失のバランスが、ラベル数が少ない状況下でのモデル性能と頑健性にどのように影響するか？

主な発見

• Pascal VOC 2012 において、10% のラベル付きデータで 80.03 mIoU を達成し、ベースライン比で 1.71% の向上を示し、半教師付き設定下での優れた性能を実証した。
• Cityscapes において、10% のラベル付きデータで 75.98 mIoU を達成し、ベースライン比で 1.52% の向上を示し、ベンチマーク間で一貫した性能向上を確認した。
• 二重周波数デコーダーは、ベースラインの UPerNet と比較してモデルパラメータを 53.7% 削減し、FLOPs を 82.5% 削減した。推論効率の向上が顕著に見られた。
• アブレーションスタディの結果、空間損失と注目損失の両方を組み合わせた場合が最良の性能を示し、両損失の最適なハイパーパrameterは 0.5 であった。
• クロス擬似ラベル損失は λ = 0.1 のときに最も優れた性能を示し、弱い教師信号をやや強めに設定することで過学習を回避できることを示した。
• 定性的な結果から、TriKD は車両のホイールや街灯の柱など、小さな物体や細かい物体のセグメンテーションにおいて、ノイズや隠蔽がある困難な領域でもベースラインを上回ることを確認した。