[論文レビュー] Unsupervised Domain Adaptation for Semantic Image Segmentation: a Comprehensive Survey

Gabriela Csurka, Riccardo Volpi+1 more|arXiv (Cornell University)|Dec 6, 2021

Domain Adaptation and Few-Shot Learning被引用数 26

ひとこと要約

DASiS の無監督ドメイン適応による意味的画像セグメンテーションの包括的な調査。問題設定、手法の分類、整合レベル、およびデータセットを詳述。

ABSTRACT

Semantic segmentation plays a fundamental role in a broad variety of computer vision applications, providing key information for the global understanding of an image. Yet, the state-of-the-art models rely on large amount of annotated samples, which are more expensive to obtain than in tasks such as image classification. Since unlabelled data is instead significantly cheaper to obtain, it is not surprising that Unsupervised Domain Adaptation reached a broad success within the semantic segmentation community. This survey is an effort to summarize five years of this incredibly rapidly growing field, which embraces the importance of semantic segmentation itself and a critical need of adapting segmentation models to new environments. We present the most important semantic segmentation methods; we provide a comprehensive survey on domain adaptation techniques for semantic segmentation; we unveil newer trends such as multi-domain learning, domain generalization, test-time adaptation or source-free domain adaptation; we conclude this survey by describing datasets and benchmarks most widely used in semantic segmentation research. We hope that this survey will provide researchers across academia and industry with a comprehensive reference guide and will help them in fostering new research directions in the field.

研究の動機と目的

• 意味的画像セグメンテーションにおける注釈コストの理由でDASiS問題とその動機を明確にする。
• 整合レベル、バックボーン、補助技術によって既存のDASiS手法を調査・分類する。
• マルチドメイン学習、ドメイン一般化、テスト時適応、ソースフリー適応などの動向を強調する。
• DASiS研究のデータセット、ベンチマーク、評価プロトコルに関する指針を提供する。

提案手法

• ソースドメインとターゲットドメイン、およびピクセル単位のセグメンテーション出力を含む正式なUDA/DASiSフレームワークを提示する。
• 整合レベル（入力/画像レベル、特徴レベル、出力/予測レベル）およびネットワーク共有構成によってDASiSアプローチを分類する。
• 分布の不一致最小化、ドメイン識別子を用いた敵対的学習、タスク特異的損失など、核心的な損失と学習戦略を説明する。
• 入力レベルの整合性を実現する手段として、画像レベルのスタイル転送および画像間翻訳を検討する。
• DASiSにおける自己学習、カリキュラム学習、エントロピー最小化、共訓練などの補完技術を調査する。
• DASiSのデータセット、評価指標、評価プロトコルの分類と統合的な見解を提供する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットアノテーションなしでドメイン間に意味的セグメンテーションモデルを移行する際の主要な課題は何か？
• RQ2 DASiS手法はセグメンテーションパイプラインの複数レベルでソースとターゲットの分布をいかに効果的に整合させることができるか？
• RQ3 DASiSにおけるドメイン整合技術と補完的戦略の最も効果的な組み合わせは何か？
• RQ4 データセットと評価プロトコルはDASiS手法のベンチマークにどのように影響を与えるか？
• RQ5 DASiSにおけるドメイン一般化、テスト時適応、ソースフリーアプローチなどの新たな動向は何か？

主な発見

• ピクセル、特徴、出力レベルでの整合を強調する、DASiS手法の広範な分類法を提示する。
• 敵対的訓練と分布不一致の最小化は、多層次または領域単位の表現で一般的である。
• 入力レベル（画像/スタイル）転送と意味的一貫性制約は、特徴レベルの整合に効果的な補完である。
• 本調査はマルチドメイン学習、ドメイン一般化、ソースフリー適応、テスト時適応を新興の動向として論じる。
• 公平な比較を導くため、データセットとベンチマーク、評価指標、プロトコルの詳細な比較を提供する。