[논문 리뷰] Discover, Hallucinate, and Adapt: Open Compound Domain Adaptation for Semantic Segmentation

Kwanyong Park, Sanghyun Woo외 2명|arXiv (Cornell University)|2021. 10. 08.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 영상 분할에서 열린 복합 도메인 적응(OCDA)을 위한 새로운 프레임워크를 제안하며, 세 가지 핵심 원칙을 도입한다: 발견(스타일 기반 클러스터링을 통해 잠재 도메인을 식별), 환영(이미지 번역을 통해 타겟 유사 소스 도메인을 합성), 적응(도메인별 적대적 정렬 적용). 이 방법은 GTA5에서 C-driving로의 성능을 뛰어나게 했으며, 편향된 정렬 문제를 효과적으로 해결하고, 알려지지 않은 타겟 도메인으로의 일반화 성능을 향상시켰다.

ABSTRACT

Unsupervised domain adaptation (UDA) for semantic segmentation has been attracting attention recently, as it could be beneficial for various label-scarce real-world scenarios (e.g., robot control, autonomous driving, medical imaging, etc.). Despite the significant progress in this field, current works mainly focus on a single-source single-target setting, which cannot handle more practical settings of multiple targets or even unseen targets. In this paper, we investigate open compound domain adaptation (OCDA), which deals with mixed and novel situations at the same time, for semantic segmentation. We present a novel framework based on three main design principles: discover, hallucinate, and adapt. The scheme first clusters compound target data based on style, discovering multiple latent domains (discover). Then, it hallucinates multiple latent target domains in source by using image-translation (hallucinate). This step ensures the latent domains in the source and the target to be paired. Finally, target-to-source alignment is learned separately between domains (adapt). In high-level, our solution replaces a hard OCDA problem with much easier multiple UDA problems. We evaluate our solution on standard benchmark GTA to C-driving, and achieved new state-of-the-art results.

연구 동기 및 목표

• 기존 비지도 도메인 적응(UDA) 방법이 단일 소스-단일 타겟 설정을 전제로 하여 현실 세계의 혼합 및 새로운 타겟 도메인을 다루지 못하는 한계를 해결하기 위해.
• 타겟이 다수의 식별되지 않은 도메인으로 구성되고 테스트 시기에는 알려지지 않은 분포를 포함하는 열린 복합 도메인 적응(OCDA)을 조사하기 위해.
• 도메인 발견, 합성 도메인 환영, 도메인별 적응을 통해 복잡한 OCDA 문제를 더 단순하고 다룰 수 있는 UDA 문제로 분해하는 프레임워크를 개발하기 위해.
• 모델의 일반화 성능을 향상시키기 위해, 근접한 소스 도메인과 멀리 떨어진, 알려지지 않은 타겟 도메인 모두에서 견고한 성능을 보장함으로써 편향된 정렬을 방지하기 위해.

제안 방법

• 프레임워크는 시각적 스타일을 도메인 특성 표현으로 간주하여 스타일 기반 클러스터링을 사용해 복합 타겟 데이터 내 K개의 잠재 도메인을 탐지함으로써 시작된다.
• 다음으로, 예시 유도 이미지 번역 네트워크를 사용해 K개의 타겟 유사 소스 도메인을 환영함으로써 도메인 간 이질성 감소를 위한 쌍체 소스-타겟 잠재 도메인을 생성한다.
• 각 도메인 쌍에 대해 별도의 도메인 구분자(Domain Discriminator)를 적용하여 적대적 훈련을 통해 도메인 불변 특징 학습을 강제한다.
• 다중 도메인 적대적 손실을 사용해 세그멘테이션 모델을 엔드 투 엔드로 훈련함으로써 도메인별 정렬을 실현하고 일반화 성능을 향상시킨다.
• 단일의 어려운 OCDA 문제를 다수의 더 쉽게 다룰 수 있는 UDA 문제로 대체함으로써, 존재하는 UDA 기법들을 더 효과적으로 활용한다.
• 프레임워크는 AdaptSeg와 Advent를 베이스라인으로 사용해 평가되었으며, 아블레이션 스터디를 통해 세 설계 원칙의 상호보완성이 확인되었다.

실험 결과

연구 질문

• RQ1 복합 타겟 도메인으로 구성되어 있으며, 테스트 시기에는 다수의 혼합 및 잠재적으로 알려지지 않은 분포를 포함하는 영상 분할에서 열린 복합 도메인 적응(OCDA)을 효과적으로 다룰 수 있는 방법은 무엇인가?
• RQ2 기존 UDA 방법을 복합 타겟 도메인에 직접 적용했을 때의 한계는 무엇이며, 편향된 정렬이 먼 또는 새로운 타겟 도메인에서의 성능에 어떤 영향을 미치는가?
• RQ3 도메인 발견과 합성 도메인 생성을 통해 복잡한 OCDA 문제를 더 단순하고 다룰 수 있는 UDA 문제로 분해할 수 있는가?
• RQ4 소스 도메인 내에서 타겟 유사 도메인을 환영함으로써 적응 성능과 알려지지 않은 타겟 도메인으로의 일반화 성능이 얼마나 향상되는가?
• RQ5 제안된 세 구성 요소인 '발견', '환영', '적응'은 상호작용하며 모델의 강건성과 정확도 향상에 어떻게 기여하는가?

주요 결과

• 제안된 DHA 프레임워크는 영상 분할 분야에서 열린 복합 도메인 적응(OCDA)에 대해 GTA5에서 C-driving 벤치마크에서 새로운 최고 성능을 달성했다.
• 이 방법은 편향된 정렬 문제를 효과적으로 해결한다: 기존의 표준 UDA 방법은 소스에 가까운 타겟 도메인을 선호하지만, DHA는 '새벽'과 '야간'과 같은 근접 및 먼 도메인 모두를 동일하게 잘 적응시킨다.
• t-SNE 시각화 결과, DHA에서 학습된 특징은 알려진 도메인과 알려지지 않은 도메인 간에 구분이 거의 없이 더 일반화된 분포를 보이며, 기존의 UDA 기반 방법과는 대조된다.
• 아블레이션 스터디 결과, '발견', '환영', '적응' 세 구성 요소는 상호보완적이며 최적 성능을 내기 위해 필수적임을 확인했다.
• 프레임워크는 도메인 불변 특징을 다수의 잠재 도메인을 통해 학습하기 때문에, 알려지지 않은 타겟 도메인으로의 일반화 성능이 구조적으로 뛰어나다.
• 정량적 분석 결과, 먼 타겟 도메인의 성능이 훈련 반복 과정에서 저하되지 않음을 확인했으며, 이는 기존 UDA 방법에서 이러한 도메인의 성능 저하가 발생하는 것과 대비된다.