[論文レビュー] Semantic Distribution-aware Contrastive Adaptation for Semantic Segmentation

Shuang Li, Binhui Xie+5 more|arXiv (Cornell University)|May 11, 2021

Domain Adaptation and Few-Shot Learning参考文献 81被引用数 21

ひとこと要約

本稿では、セマンティックセグメンテーションのドメイン適応のための新しい手法である意味的分布を考慮した対照的適応（SDCA）を提案する。この手法は、ソースドメインにおけるカテゴリレベルの意味的分布を用いて、対照的損失を介してピクセル単位の表現の整合性をガイドする。本手法は、特徴の識別性を向上させるとともにドメインシフトに対してより頑健になることで、自己教師あり学習と組み合わせた場合に特に顕著な最先端の性能を達成する。

ABSTRACT

Domain adaptive semantic segmentation refers to making predictions on a certain target domain with only annotations of a specific source domain. Current state-of-the-art works suggest that performing category alignment can alleviate domain shift reasonably. However, they are mainly based on image-to-image adversarial training and little consideration is given to semantic variations of an object among images, failing to capture a comprehensive picture of different categories. This motivates us to explore a holistic representative, the semantic distribution from each category in source domain, to mitigate the problem above. In this paper, we present semantic distribution-aware contrastive adaptation algorithm that enables pixel-wise representation alignment under the guidance of semantic distributions. Specifically, we first design a pixel-wise contrastive loss by considering the correspondences between semantic distributions and pixel-wise representations from both domains. Essentially, clusters of pixel representations from the same category should cluster together and those from different categories should spread out. Next, an upper bound on this formulation is derived by involving the learning of an infinite number of (dis)similar pairs, making it efficient. Finally, we verify that SDCA can further improve segmentation accuracy when integrated with the self-supervised learning. We evaluate SDCA on multiple benchmarks, achieving considerable improvements over existing algorithms.The code is publicly available at https://github.com/BIT-DA/SDCA

研究の動機と目的

• ソースドメインとターゲットドメイン間のカテゴリレベル特徴の整合性を向上させることで、セマンティックセグメンテーションにおけるドメインシフトを緩和すること。
• 従来のカテゴリレベルの敵対的手法が、画像レベルの変化やミニバッチの多様性が限られていることによって引き起こされる不安定で偏った整合性を是正すること。
• 単一の重心に依存するのではなく、ソースドメインにおける各セマンティックカテゴリの全分布をモデル化することで、特徴の識別性を向上させること。
• 意味的分布のガイダンスを用いて、明示的なサンプリングなしに無限個のピクセル単位の特徴ペアの類似・非類似を暗黙的に整合させる、効率的で微分可能な対照的損失を考案すること。
• ドメインシフト下でのセグメンテーション精度の向上を検証すること、特に自己教師あり事前学習と組み合わせた場合の有効性を評価すること。

提案手法

• 同じセマンティックカテゴリに属する特徴が凝集し、異なるカテゴリに属する特徴が離れるよう、ソースドメインにおける各カテゴリの意味的分布をガイダンスとして用いたピクセル単位の対照的損失を提案する。
• 対照的損失のトレーラブルで効率的な上界近似を導入し、無限個の（非）類似ピクセルペアの明示的サンプリングなしに、同時に学習可能にする。
• ソースデータから推定された各カテゴリの意味的分布（例：テクスチャ、色、照明の変動を含む）を包括的な代表として用い、カテゴリ内変動を捉えることで特徴の整合性をガイドする。
• ソースとターゲットの特徴に共通のエンコーダーを持つ二重ブランチネットワークを採用し、両ドメインのピクセル単位特徴に対照的損失を適用する。
• 自己教師あり学習（SSL）と統合することで、ラベルなしターゲットデータを活用し、特徴学習の性能をさらに向上させる。
• t-SNE可視化と新しいピクセル単位の識別距離（PDD）指標を用いて、特徴のクラスタリングと分離性を定量的に評価する。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインにおける各カテゴリの全意味的分布をモデル化することで、ドメイン適応におけるセマンティックセグメンテーションのカテゴリレベルの整合性がより安定的かつ正確になるか？
• RQ2 意味的分布をガイダンスとして用いた対照的損失は、ターゲットドメインにおける学習済みピクセル単位特徴の識別力の向上に寄与するか？
• RQ3 ドメインシフト下で、mIoUと特徴クラスタリング品質の観点から、SDCAは最先端手法と比較してどの程度優れているか？
• RQ4 SDCAを自己教師あり学習と組み合わせることで、ターゲットドメインにおける一般化性能と精度がどの程度向上するか？
• RQ5 SDCAは、しきい値δや損失重み係数といったハイパーパrameterに対してどの程度感度を示すか？

主な発見

• SDCAは、GTAV → Cityscapes や SYNTHIA → Cityscapes といった複数のベンチマークで最先端の性能を達成し、既存のSOTA手法を上回る。
• t-SNE可視化の結果、他の手法と比較してSDCAはセマンティックカテゴリごとに最も明確で分離度の高い特徴クラスタを生成している。
• 提案されたピクセル単位の識別距離（PDD）指標は、CLAN、FADA、SIM、CAG-UDAと比較して、SDCAが顕著に高いカテゴリ内凝集性とカテゴリ間分離性を達成していることを確認した。
• 感度解析の結果、SDCAは幅広いハイパーパrameter範囲で高い性能を維持しており、δや損失重みの中央付近でmIoUがピークに達する傾向を示しており、頑健性が確認された。
• 自己教師あり学習と組み合わせた場合、SDCAはさらにセグメンテーション精度が向上し、SSL事前学習と相性が良く、相乗効果を示した。
• 対照的損失の上界近似により、ネガティブペアの明示的サンプリングなしに効率的な学習が可能となり、本手法は実用的でスケーラブルであることが示された。