[論文レビュー] Hierarchical Dense Correlation Distillation for Few-Shot Segmentation

Bohao Peng, Zhuotao Tian+5 more|arXiv (Cornell University)|Mar 26, 2023

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

HDMNet はピクセルレベルの少数ショット分割を改善するための相関マップ蒸留を伴う階層的にデカップリングされたマッチングネットワークを導入し、COCO-20i および Pascal-5i で最先端の結果を達成します。

ABSTRACT

Few-shot semantic segmentation (FSS) aims to form class-agnostic models segmenting unseen classes with only a handful of annotations. Previous methods limited to the semantic feature and prototype representation suffer from coarse segmentation granularity and train-set overfitting. In this work, we design Hierarchically Decoupled Matching Network (HDMNet) mining pixel-level support correlation based on the transformer architecture. The self-attention modules are used to assist in establishing hierarchical dense features, as a means to accomplish the cascade matching between query and support features. Moreover, we propose a matching module to reduce train-set overfitting and introduce correlation distillation leveraging semantic correspondence from coarse resolution to boost fine-grained segmentation. Our method performs decently in experiments. We achieve $50.0\%$ mIoU on \coco~dataset one-shot setting and $56.0\%$ on five-shot segmentation, respectively.

研究の動機と目的

• 未見クラスへ一般化可能なロバストな少数ショットセマンティックセグメンテーションの動機付け。
• プロトタイプベースおよび初期マッチングベースの手法における粗いセグメンテーションとトレーニングデセット過適合の克服。
• 特徴抽出と密なピクセルレベルのマッチングを分離する階層的にデカップルされたマッチングアーキテクチャの提案。
• 相関ベースのマッチングモジュールとスケールを跨ぐ意味的手掛かりを伝えるマルチレベル相関マップ蒸留の導入。

提案手法

• 階層的パースィングとデカップルドマッチングモジュールを組み込んだトランスフォーマーアーキテクチャを拡張し、カスケード、ピクセルレベルの対応を可能にする。
• コサイン類似度と逆ソフトマックスを用いた相関メカニズムによってピクセルレベルの相関を計算し、クラス特有の特徴への依存を低減。
• 事前マスクと単純なデコーダを組み込み、 coarse-to-fine 的に多スケールで強化された特徴を融合。
• KL ダイバージェンスを用いた近接する相関マップ間の相関マップ蒸留により、深い段階から浅い段階へ文脈的意味を伝達。
• デコーダーを解体せずに、チャネル次元で複数のサポート特徴とマスクを連結して 1-shot から K-shot へ拡張。

実験結果

リサーチクエスチョン

• RQ1 特徴抽出とマッチングの階層的デカップリングは少数ショット分割の頑健性と一般化をどのように改善するか。
• RQ2 相関ベースのマッチングはトランスフォーマーの従来のクロスアテンションベースのマッチングよりもトレーニングデセット過適合を緩和できるか。
• RQ3 相関マップ蒸留は高レベルの意味情報を浅い層へ効果的に伝播し、細粒度のセグメンテーションを改善するか。
• RQ4 HDMNet は標準FSSベンチマーク（COCO-20i、Pascal-5i）で 1-shot および 5-shot の設定でどのように性能を示すか。
• RQ5 コアのマッチングパラダイムを変更することなく、マルチショット（K-shot）シナリオへ効率的に拡張できるか。

主な発見

• HDMNet は COCO-20i で最先端の mIoU を達成（1-shot: 50.0、5-shot: 56.0）、Pascal-5i で（1-shot: 69.4-71.8、 folds 全体、5-shot: 71.3-77.7、 folds 全体）ResNet-50 および VGG-16 のバックボーンを使用。
• デカップルドのダウンサンプリング/マッチング設計はノイズ干渉を低減し、積み重ねられた自己注意およびクロスアテンションと比較して一般化を改善。
• 逆ソフトマックスと事前マスクを用いた相関ベースのマッチングモジュールは従来のクロスアテンションよりも整合性が良い。
• 相関マップ蒸留は深部から浅部へ文脈情報を伝達することで検証性能を改善し、顕著なゲインを提供。
• 複数のサポート特徴とマスクをチャネル方向に連結してデコーダーパイプラインを維持することで、K-shot への拡張は straightforward。