[논문 리뷰] Adaptation Across Extreme Variations using Unlabeled Domain Bridges

Shuyang Dai, Kihyuk Sohn외 3명|arXiv (Cornell University)|2019. 06. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 53인용 수 7

한 줄 요약

이 논문은 소스 도메인과 타겟 도메인 사이의 큰 도메인 차이를 줄이기 위해 레이블이 없는 다리 역할을 하는 도메인을 도입하는 도메인 적응 프레임워크를 제안한다. 이 도메인은 소스와 타겟 도메인 사이의 중간 단계로 기능한다. 다중 판별자로 확장된 도메인 적대적 네트워크를 사용해 다리 단계를 거쳐 점진적인 도메인 차이를 최소화함으로써, 극단적인 도메인 이동 상황에서 객체 인식 및 세분화 작업에서 뚜렷한 성능 향상을 달성한다.

ABSTRACT

We tackle an unsupervised domain adaptation problem for which the domain discrepancy between labeled source and unlabeled target domains is large, due to many factors of inter and intra-domain variation. While deep domain adaptation methods have been realized by reducing the domain discrepancy, these are difficult to apply when domains are significantly unalike. In this work, we propose to decompose domain discrepancy into multiple but smaller, and thus easier to minimize, discrepancies by introducing unlabeled bridging domains that connect the source and target domains. We realize our proposal through an extension of the domain adversarial neural network with multiple discriminators, each of which accounts for reducing discrepancies between unlabeled (bridge, target) domains and a mix of all precedent domains including source. We validate the effectiveness of our method on several adaptation tasks including object recognition and semantic segmentation.

연구 동기 및 목표

• 조명, 시점, 해상도와 같은 요인들로 인해 도메인 간 및 도메인 내 요인으로 인해 극단적인 도메인 변동성이 발생하는 상황에서의 비지도 도메인 적응을 해결한다.
• 소스 도메인과 타겟 도메인이 너무 다를 경우 성능이 저하되는 표준 도메인 적대적 네트워크의 한계를 극복한다.
• 소스 도메인과 타겟 도메인 양쪽 모두 일부 특성을 공유하는 레이블이 없는 다리 도메인을 도입하여 큰 도메인 차이를 더 작고 다룰 수 있는 단계로 분해한다.
• 소스 도메인에서 타겟 도메인으로의 표현을 점진적으로 정렬하기 위해 중간 다리 도메인을 활용하는 다단계 적대적 프레임워크를 개발한다.
• 극단적인 도메인 이동 상황에서 객체 인식 및 세분화와 같은 도전적인 시각 작업에서 이 방법의 효과성을 입증한다.

제안 방법

• 소스 도메인과 일부 요소(예: 조명)를 공유하고 타겟 도메인과 다른 요소(예: 시점, 해상도)를 공유하는 레이블이 없는 다리 도메인을 도입한다.
• 모든 이전 도메인(소스 포함)의 혼합과 다리 도메인 사이의 차이를 최소화하는 데 전담된 다중 판별자를 갖춘 도메인 적대적 신경망(DANN)을 확장한다.
• 각 적응 단계에서 도메인 불변 표현을 강제하기 위해 도메인 판별자를 사용한다.
• 타겟 오차의 상한을 최소화하는 훈련 목표를 설정하며, 이는 소스 오차와 각 다리 도메인 및 누적된 이전 도메인 혼합 간의 차이를 포함한다.
• 적대적 훈련 과정에서 도메인 차이 측정으로 d-Score와 MMD(최대 평균 차이)를 모두 적용한다.
• 공유된 특징 추출기와 각 적응 단계에 대해 별도의 도메인 판별기를 갖춘 엔드 투 엔드 훈련을 통해 점진적인 도메인 정렬을 가능하게 한다.

실험 결과

연구 질문

• RQ1 소스 도메인과 타겟 도메인이 극단적인 변동성을 보일 경우, 중간에 레이블이 없는 다리 도메인을 도입하면 도메인 적응 성능 향상이 이루어지는가?
• RQ2 큰 단일 도메인 차이를 다리 도메인을 통해 여러 개의 더 작은 차이로 분해하는 것이 직접 적응보다 더 나은 표현 정렬을 이끌어내는가?
• RQ3 레이블이 없는 다리 도메인의 수가 시각 작업의 비지도 도메인 적응에서 성능에 어떤 영향을 미치는가?
• RQ4 제안된 다단계 적대적 프레임워크가 도메인 이동 상황에서 표준 DANN 및 단순 도메인 병합 베이스라인보다 세분화 작업에서 더 우수한 성능을 내는가?
• RQ5 안개, 조명, 시점 등 다양한 종류의 도메인 이동 원인에 대해 다리 도메인의 효과가 견고한가?

주요 결과

• 단일 다리 도메인(GTA5 → Cityscapes → Foggy Cityscapes 0.02)을 사용했을 때, 직접 적응(GTA5 → F₀.₀₂) 대비 Foggy Cityscapes 0.02 테스트 세트에서 mIoU가 33.08에서 34.82로 향상되었다.
• 두 개의 다리 도메인(GTA5 → Cityscapes → Foggy Cityscapes 0.01 → Foggy Cityscapes 0.02)을 사용한 모델은 mIoU가 35.31에 도달하여 단일 다리 도메인 및 직접 적응 베이스라인을 뚜렷이 앞서며 성능을 뛰어넘었다.
• Cityscapes와 Foggy Cityscapes 0.02를 하나의 레이블이 없는 도메인으로 단순 병합한 경우(GTA5 → City + F₀.₀₂)는 성능이 열악했으며, mIoU가 32.62에 머물러, 성격이 뚜렷한 도메인을 병합하면 적응 품질이 악화됨을 시사한다.
• 총 레이블이 없는 이미지 수가 동일한 상황에서 두 개의 다리 도메인을 사용했을 때의 성능 향상(35.31 mIoU)이 단일 다리 도메인(34.82 mIoU)보다 더 높았으며, 이는 다단계 정렬의 이점이 있음을 보여준다.
• 객체 인식 및 세분화를 포함한 여러 작업에서 일관된 성능 향상이 이루어져, 극단적인 도메인 이동에 대한 일반화 능력이 검증되었다.
• d-Score와 MMD를 차이 측정 도구로 사용함으로써, 다리 도메인 없이 비교했을 때 SV4–5 테스트 세트에서 성능 향상이 이루어졌으며, 제안된 프레임워크의 효과성을 확인했다.