[論文レビュー] Domain Adaptation for Semantic Segmentation via Patch-Wise Contrastive Learning

Weizhe Liu, David Ferstl+4 more|arXiv (Cornell University)|Apr 22, 2021

Domain Adaptation and Few-Shot Learning参考文献 53被引用数 25

ひとこと要約

この論文は、パッチ単位の対比学習を用いた無監督および半监督のセマンティックセグメンテーションにおけるドメイン適応を提案し、敵対的訓練を回避して、特にターゲット注釈が限られている場合に最先端の性能を達成します。

ABSTRACT

We introduce a novel approach to unsupervised and semi-supervised domain adaptation for semantic segmentation. Unlike many earlier methods that rely on adversarial learning for feature alignment, we leverage contrastive learning to bridge the domain gap by aligning the features of structurally similar label patches across domains. As a result, the networks are easier to train and deliver better performance. Our approach consistently outperforms state-of-the-art unsupervised and semi-supervised methods on two challenging domain adaptive segmentation tasks, particularly with a small number of target domain annotations. It can also be naturally extended to weakly-supervised domain adaptation, where only a minor drop in accuracy can save up to 75% of annotation cost.

研究の動機と目的

• ドメイン間のギャップを、ラベル空間のパッチレベルの構造的類似性を介してクロスドメイン特徴を整列させることによって橋渡しする。
• ドメイン整列のための対立 Objective ではなく対比学習を活用する。
• ラベルなしデータを擬似ラベリングとエントロピー正則化を通じて活用し、ターゲットドメインの性能を向上させる。
• UDA（無監督）・SSDA（半监督）・弱監督設定での有効性を示し、注釈コストを削減する。

提案手法

• 画像をパッチとして表現し、エンコーダとパッチ認識型潜在プロジェクターを用いて各パッチの潜在特徴を学習する。
• パッチごとのセマンティック差異Dを、3レベルのピラミッド状ラベリングヒストグラム（ラベル空間の空間ピラミッドマッチング）を用いて定義し、対比学習の正の/負のパッチペアを決定する。
• パッチ単位の対比損失L_contを構築し、類似パッチ（低いD）をソース/ターゲット間で近づけ、異なるパッチを離す。
• 監督付きのソース/ターゲットデータのクロスエントロピ―と、ラベルなしデータのエントロピー正則化損失を組み合わせたベース損失L_baseを用いて不確実性を低減する。
• オプションとしてターゲット未ラベルサンプルの擬似ラベルを生成しL_selfを形成してSSDAの性能を向上させる。
• 訓練前にソース画像をターゲットドメインへ翻訳するためのフーリエ領域適応（FDA）を組み込む。
• まずベース損失を最適化し、その後対比学習項と自己学習項を共同で最適化する段階的戦略で訓練する。

実験結果

リサーチクエスチョン

• RQ1 パッチレベルのドメイン間対比整列は、セマンティックセグメンテーションにおける敵対的特徴整列よりも優れているだろうか？
• RQ2 ラベル空間の構造的差異をどのように活用して、意味のあるクロスドメインの正/負パッチペアを定義するのか？
• RQ3 ラベルなしターゲットデータと擬似ラベリングは、セマンティックセグメンテーションのSSDA性能にどのような影響を与えるのか？
• RQ4 アノテーションをどれだけ減らして（弱監督）、性能を大きく損なわずに済むのか？

主な発見

# ラベル付き	road	sidewalk	building	wall	fence	pole	light	sign	vegetation	terrain	sky	person	rider	car	truck	bus	train	motorcycle	bicycle	mIoU
0	MinEnt	84.4	18.7	80.6	23.8	23.2	28.4	36.9	23.4	83.2	25.2	79.4	59.0	29.9	78.5	33.7	29.6	1.7	29.9	33.6	42.30
0	AdvEnt	89.9	36.5	81.6	29.2	25.2	28.5	32.3	22.4	83.9	34.0	77.1	57.4	27.9	83.7	29.4	39.1	1.5	28.4	23.3	43.80
0	FDA	92.5	53.3	82.4	26.5	27.6	36.4	40.6	38.9	82.3	39.8	78.0	62.6	34.4	84.9	34.1	53.1	16.9	27.7	46.4	50.45
0	OURS	93.3	54.2	83.0	25.9	28.1	37.2	41.1	39.3	83.1	38.9	78.2	61.3	36.2	84.2	35.8	54.0	18.1	26.7	47.5	50.85

• 提案手法は、無監督および半监督のドメイン適応の両方において、最先端の手法を一貫して上回る。
• SSDAでは、ターゲットドメインの注釈が乏しい場合に、完全監督ベースラインよりも大きな利得をもたらす（例：50–100画像程度）。
• ソースからターゲットへの翻訳を行うFDAとパッチ単位の対比損失を組み合わせると、ドメイン適応性能が向上する。
• 対比学習の非ミニマックス特性により、敵対的手法より訓練が容易で安定している。
• 弱監督シナリオ（部分的な注釈）でも高性能を維持でき、注釈コストを最大約75%削減できる可能性があるが、少量の精度低下が許容される。