[論文レビュー] Discover, Hallucinate, and Adapt: Open Compound Domain Adaptation for Semantic Segmentation

Kwanyong Park, Sanghyun Woo+2 more|arXiv (Cornell University)|Oct 8, 2021

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿では、セマンティックセグメンテーションにおけるオープンコン poundドメイン適応（OCDA）のための新規フレームワークを提案する。3つの核心的原則を導入する：発見（スタイルに基づくクラスタリングにより、隠れたドメインを同定）、幻想（画像変換を用いて、ターゲットに似た合成ソースドメインを生成）、適応（ドメイン別 adversarial アライメントを適用）。本手法は、GTA5 から C-driving への設定で最先端の性能を達成し、偏ったアライメントを効果的に解消し、未観測のターゲットドメインへも一般化可能である。

ABSTRACT

Unsupervised domain adaptation (UDA) for semantic segmentation has been attracting attention recently, as it could be beneficial for various label-scarce real-world scenarios (e.g., robot control, autonomous driving, medical imaging, etc.). Despite the significant progress in this field, current works mainly focus on a single-source single-target setting, which cannot handle more practical settings of multiple targets or even unseen targets. In this paper, we investigate open compound domain adaptation (OCDA), which deals with mixed and novel situations at the same time, for semantic segmentation. We present a novel framework based on three main design principles: discover, hallucinate, and adapt. The scheme first clusters compound target data based on style, discovering multiple latent domains (discover). Then, it hallucinates multiple latent target domains in source by using image-translation (hallucinate). This step ensures the latent domains in the source and the target to be paired. Finally, target-to-source alignment is learned separately between domains (adapt). In high-level, our solution replaces a hard OCDA problem with much easier multiple UDA problems. We evaluate our solution on standard benchmark GTA to C-driving, and achieved new state-of-the-art results.

研究の動機と目的

• 既存の教師なしドメイン適応（UDA）手法が単一ソース・単一ターゲット設定を仮定しているという限界に対処すること。これは、実世界の状況では混合されたおよび未知のターゲットドメインが存在するため、不適切である。
• 複数の区別不能なドメインで構成され、テスト時に未観測の分布を含むターゲットを有する、オープンコン pound ドメイン適応（OCDA）を調査すること。
• ドメイン発見、合成ドメインの幻想、ドメイン別適応を活用することで、複雑な OCDA 問題をより単純で取り扱いやすい UDA 問題に分解するフレームワークを開発すること。
• クローズドソースドメインおよび距離の遠い、未観測のターゲットドメインの両方で堅牢な性能を確保することで、モデルの一般化を向上させ、偏ったアライメントを回避すること。

提案手法

• フレームワークは、視覚的スタイルをドメイン固有の表現とみなして、スタイルベースのクラスタリングを用いて、複合ターゲットデータ内の K 個の隠れたドメインを発見することから始める。
• 次に、エクジンプレ指導付きの画像変換ネットワークを用いて、K 個のターゲットに似たソースドメインを生成し、ドメインシフトを低減するペアドドメイン（ソース・隠れドメイン）を構築する。
• 各ドメインペアに対して、別個のドメイン識別器を適用し、 adversarial 学習によってドメイン不変特徴の学習を促進する。
• セグメンテーションモデルは、マルチドメイン adversarial 損失を用いて end-to-end に訓練され、ドメイン別アライメントが可能になり、一般化性能が向上する。
• 単一の困難な OCDA 問題を、既存の UDA 技法をより効果的に活用できる複数のより簡単な UDA 問題に置き換える。
• フレームワークは AdaptSeg および Advent をベースラインとして用いて評価され、アブレーションスタディにより、3つの設計原則の相補性が確認された。

実験結果

リサーチクエスチョン

• RQ1 複数の混合され、かつ未知の分布を含むターゲットドメインで構成される、セマンティックセグメンテーションにおけるオープンコン pound ドメイン適応（OCDA）を効果的に処理する方法は何か？
• RQ2 既存の UDA 手法を複合ターゲットドメインに直接適用した場合の限界は何か？また、偏ったアライメントは、距離の遠いまたは新しいターゲットドメインにおける性能にどのように影響するか？
• RQ3 ドメイン発見と合成ドメイン生成を用いて、複雑な OCDA 問題をより単純で取り扱いやすい UDA 問題に分解できるか？
• RQ4 ソースドメイン内でターゲットに似たドメインを幻想することで、適応性能と未観測のターゲットドメインへの一般化性能がどの程度向上するか？
• RQ5 提案された3つのコンponent（発見、幻想、適応）は、どのように相互に作用し、モデルのロバスト性と精度の向上に寄与するか？

主な発見

• 提案された DHA フレームワークは、セマンティックセグメンテーションにおけるオープンコン pound ドメイン適応（OCDA）の GTA5 から C-driving のベンチマークで、新たな最先端性能を達成した。
• 本手法は偏ったアライメント問題を効果的に解消した：標準的な UDA 手法がソースに近いターゲットドメインに偏るのに対し、DHA は『曇り』や『夜』といった距離の遠いドメインも同様にうまく適応する。
• t-SNE 視覚化により、DHA が学習した特徴は、観測済みおよび未観測ドメインの間で区別がつかない分布を示しており、従来の UDA ベースラインとは対照的である。
• アブレーションスタディの結果、発見、幻想、適応の3つのコンponentは相補的であり、最適な性能を発揮するために不可欠であることが示された。
• ドメイン不変特徴が複数の隠れたドメインにわたって学習されるため、本フレームワークは構造的に未観測のターゲットドメインへの優れた一般化性能を示す。
• 定量的分析により、距離の遠いターゲットドメインの性能が訓練ステップの経過とともに低下しないことが確認された。これは、標準的な UDA 手法ではこのようなドメインで性能低下が生じるのとは対照的である。