[論文レビュー] Learning from Synthetic Data: Addressing Domain Shift for Semantic Segmentation

Swami Sankaranarayanan, Yogesh Balaji+3 more|arXiv (Cornell University)|Nov 19, 2017

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

本論文は、合成画像ドメインと実画像ドメイン間の特徴埋め込みを整合させるために、GANベースの手法を提案する。潜在空間における分布の違いを最小化するための敵対的訓練を活用することで、本手法は合成から実世界への適応ベンチマークで最先端の性能を達成し、未観測のドメインにも一般化可能であり、ソース・ターゲット分布の整合性が向上する。

ABSTRACT

Visual Domain Adaptation is a problem of immense importance in computer vision. Previous approaches showcase the inability of even deep neural networks to learn informative representations across domain shift. This problem is more severe for tasks where acquiring hand labeled data is extremely hard and tedious. In this work, we focus on adapting the representations learned by segmentation networks across synthetic and real domains. Contrary to previous approaches that use a simple adversarial objective or superpixel information to aid the process, we propose an approach based on Generative Adversarial Networks (GANs) that brings the embeddings closer in the learned feature space. To showcase the generality and scalability of our approach, we show that we can achieve state of the art results on two challenging scenarios of synthetic to real domain adaptation. Additional exploratory experiments show that our approach: (1) generalizes to unseen domains and (2) results in improved alignment of source and target distributions.

研究の動機と目的

• 合成データから実世界データへの転移において、ドメインシフトの課題に対処すること。
• 単純な敵対的損失やスーパープixelsに基づく監視に依存する従来手法の限界を克服すること。
• GANを用いてドメイン間の特徴埋め込みを統合するスケーラブルで一般化可能なドメイン適応手法を開発すること。
• 学習された特徴空間におけるソース（合成）とターゲット（実）データ分布の整合性を向上させること。

提案手法

• ソースドメインの特徴からターゲットドメインに類似した画像を生成するための条件付きGANフレームワークを活用する。
• 識別器が実画像特徴と生成画像特徴を区別するよう敵対的訓練を実施し、埋め込みを共通の分布に近づける。
• 潜在空間における合成画像と実画像の特徴表現を統合するための特徴レベルの敵対的損失を導入する。
• セグメンテーションネットワークをGANの生成器および識別器とともにエンドツーエンドで訓練し、ドメイン不変の表現を向上させる。
• 生成器を活用してターゲットに類似した特徴を合成することで、セグメンテーションモデルのドメイン間一般化を可能にする。
• 異なる特徴階層レベルでの微細な整合性を保証するためのマルチスケール特徴一致戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 スーパープixelsの監視や単純な敵対的損失に依存せずに、GANベースのアプローチがドメインシフトを効果的に低減できるか？
• RQ2 提案手法は、トレーニング時に見られなかった未観測のターゲットドメインにも一般化可能か？
• RQ3 本手法は、ソースドメインとターゲットドメインの特徴分布の整合性をどの程度向上させるか？
• RQ4 本手法は、合成から実世界への意味的セグメンテーションベンチマークで最先端の手法と比較してどのように優れているか？

主な発見

• 提案手法は、意味的セグメンテーションのための2つの挑戦的な合成から実世界へのドメイン適応ベンチマークで最先端の性能を達成した。
• 本手法は未観測のドメインにも一般化可能であり、トレーニング時に使用された特定のターゲットドメインを超えた堅牢性を示した。
• 分布の乖離が減少したことを測定することで、特徴空間におけるソースドメインとターゲットドメインの分布の整合性が向上した。
• 探索的実験の結果、ベースライン手法と比較して、より転送可能でドメイン不変の特徴をモデルが学習していることが確認された。