[論文レビュー] Semantic Image Segmentation: Two Decades of Research

Gabriela Csurka, Riccardo Volpi+1 more|arXiv (Cornell University)|Feb 13, 2023

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

2十年にわたる意味画像分割（SiS）の包括的な調査で、歴史的手法、深層学習の進展、トランスフォーマー、弱い監視、DASiSドメイン適応の現状、さらにデータセットとベンチマークを扱う。

ABSTRACT

Semantic image segmentation (SiS) plays a fundamental role in a broad variety of computer vision applications, providing key information for the global understanding of an image. This survey is an effort to summarize two decades of research in the field of SiS, where we propose a literature review of solutions starting from early historical methods followed by an overview of more recent deep learning methods including the latest trend of using transformers. We complement the review by discussing particular cases of the weak supervision and side machine learning techniques that can be used to improve the semantic segmentation such as curriculum, incremental or self-supervised learning. State-of-the-art SiS models rely on a large amount of annotated samples, which are more expensive to obtain than labels for tasks such as image classification. Since unlabeled data is instead significantly cheaper to obtain, it is not surprising that Unsupervised Domain Adaptation (UDA) reached a broad success within the semantic segmentation community. Therefore, a second core contribution of this book is to summarize five years of a rapidly growing field, Domain Adaptation for Semantic Image Segmentation (DASiS) which embraces the importance of semantic segmentation itself and a critical need of adapting segmentation models to new environments. In addition to providing a comprehensive survey on DASiS techniques, we unveil also newer trends such as multi-domain learning, domain generalization, domain incremental learning, test-time adaptation and source-free domain adaptation. Finally, we conclude this survey by describing datasets and benchmarks most widely used in SiS and DASiS and briefly discuss related tasks such as instance and panoptic image segmentation, as well as applications such as medical image segmentation.

研究の動機と目的

• 事前深層学習手法から現代の深層学習とトランスフォーマーまで、意味画像分割の進化を概観する。
• SiSを改善するための弱い監視、カリキュラム学習、逐次的・自己教師あり戦略を調査する。
• SiS（DASiS）の5年間のドメイン適応と、ドメイン一般化、テスト時適応、ソースフリー適応などの関連タスクを要約する。
• SiSとDASiSのデータセット、ベンチマーク、評価プロトコルを整理し、インスタンス分割・パノプティック分割・医用画像分割などの関連タスクについても論じる。

提案手法

• 二部構成の調査を組織する：SiS（第1章）とDASiS（第2章） 。
• バックボーン・デコーダー・アテンション・マルチスケール戦略で深層SiSモデルを分類する。エンコーダ-デコーダー、FCN、およびトランスフォーマーベースの手法を含める。
• 表2.1と、モデル間のデータフローと設計選択のスキーマを提示する。
• 弱い監視、カリキュラム学習、増分学習、自己教師あり事前学習などの非標準設定を論じる。
• 第3章でデータセット・ベンチマーク・評価プロトコルを提供し、第4章で関連タスクについて論じる。

実験結果

リサーチクエスチョン

• RQ1 過去20年間における意味画像分割の主要な方法論的転換は何か？
• RQ2 ドメイン適応と関連するDASiSアプローチは、ドメインシフトと現実世界での展開の課題にどのように対処してきたか？
• RQ3 SiSとDASiSの研究を支配するデータセット・ベンチマーク・評価プロトコルは何か、そしてそれらはどのように比較されるか？
• RQ4 トランスフォーマーや自己教師あり学習を含むSiSの未解決の研究課題と将来の潜在的動向は何か？

主な発見

• 深層学習はSiSの性能を引き上げてきたが、大規模な注釈付きデータセットへの依存は依然としてボトルネックである。合成データとドメイン適応は実データへのギャップを埋めるのに役立つ。
• トランスフォーマーとアテンション機構が、現代のSiSモデルの中心的なトレンドとして浮上している。
• 広範なDASiS分類と関連タスク（多源/多対象適応、ドメイン一般化、ソースフリー適応、テスト時適応）の議論は、分野の包括的なマッピングを提供する。
• カリキュラム学習、増分学習、自己教師あり戦略は、完全に監督されたデータなしでSiSを改善するアプローチとして強調される。
• 本書はデータセットとベンチマークを列挙し、SiSをインスタンス分割、パノプティック分割、医用画像分割などの関連タスクの中に位置づけ、研究者や産業実務家への参照ガイドを提供する。