[논문 리뷰] Self-Adversarial Disentangling for Specific Domain Adaptation

Qianyu Zhou, Qiqi Gu외 3명|arXiv (Cornell University)|2021. 08. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 70인용 수 11

한 줄 요약

이 논문은 특정 도메인 적응(SDA)를 위한 새로운 프레임워크인 Self-Adversarial Disentangling(SAD)을 제안한다. SAD는 도메인 이동을 특정 도메인성 차원(예: dense fog 두께)에 따라 명시적으로 모델링한다. 도메인성 생성기(Domainness Creator)를 도입하여 소스 도메인에 다양한 도메인성 수치를 추가로 제공하고, 분리 손실과 함께 자기 적대적 정규화를 적용함으로써 도메인성 불변 특징을 학습한다. 이로 인해 객체 검출 및 세분화 작업에서 예측되지 않은 도메인성 수준에서도 일반화 성능이 크게 향상된다.

ABSTRACT

Domain adaptation aims to bridge the domain shifts between the source and the target domain. These shifts may span different dimensions such as fog, rainfall, etc. However, recent methods typically do not consider explicit prior knowledge about the domain shifts on a specific dimension, thus leading to less desired adaptation performance. In this paper, we study a practical setting called Specific Domain Adaptation (SDA) that aligns the source and target domains in a demanded-specific dimension. Within this setting, we observe the intra-domain gap induced by different domainness (i.e., numerical magnitudes of domain shifts in this dimension) is crucial when adapting to a specific domain. To address the problem, we propose a novel Self-Adversarial Disentangling (SAD) framework. In particular, given a specific dimension, we first enrich the source domain by introducing a domainness creator with providing additional supervisory signals. Guided by the created domainness, we design a self-adversarial regularizer and two loss functions to jointly disentangle the latent representations into domainness-specific and domainness-invariant features, thus mitigating the intra-domain gap. Our method can be easily taken as a plug-and-play framework and does not introduce any extra costs in the inference time. We achieve consistent improvements over state-of-the-art methods in both object detection and semantic segmentation.

연구 동기 및 목표

• 특정 차원(예: 안개 두께 변화)에서 예측되지 않은 도메인성 수준으로의 적응 시 기존 비지도 도메인 적응(UDA) 방법의 성능 저하 문제를 해결하기 위해.
• 동일한 도메인 차원 내에서 도메인성의 수치적 크기 차이로 인해 발생하는 내부 도메인 갭을 완화하기 위해.
• 대상 도메인에서 예측되지 않은 도메인성 값에 대해 일반화할 수 있도록 표현 학습 중 도메인성을 분리된 요소로 명시적으로 모델링하기 위해.
• 기존의 최고 성능 모델을 수정하지 않고도 추론 비용을 증가시키지 않고도 향상시킬 수 있는 플러그-앤플러그 프레임워크 개발하기 위해.

제안 방법

• 다양한 도메인성 수치(예: 다른 안개 강도)를 가진 소스 도메인 샘플을 생성하는 도메인성 생성기(DC)를 도입하여 학습 분포를 풍부하게 한다.
• 다양한 도메인성 수준 간의 특징을 적대적으로 정렬함으로써 도메인성 불변 특징을 생성하도록 유도하는 자기 적대적 정규화기를 설계한다.
• 도메인성 특화 및 도메인성 불변 대비 손실을 두 가지 보조 손실로 제안하여 표현을 도메인성 특화 및 도메인성 불변 성분으로 명시적으로 분리한다.
• 도메인 적응, 분리, 자기 적대적 정규화를 균형 있게 반영하는 병합 손실 함수를 사용해 모델을 엔드 투 엔드로 훈련한다.
• 기존 최고 성능 모델(GPA, SWDA, AdaptSegNet 등)에 SAD 프레임워크를 백본을 수정하지 않고 플러그인 모듈로 통합하여 추론 시간을 증가시키지 않는다.

실험 결과

연구 질문

• RQ1 특정 차원에서 도메인성을 명시적으로 모델링하면, 관측된 도메인성 수준을 초월한 일반화 성능 향상에 기여하는가?
• RQ2 도메인성 특화 및 도메인성 불변 특징을 분리하면, 대상 도메인에서 예측되지 않은 도메인성 수준에서의 성능에 어떤 영향을 미치는가?
• RQ3 자기 적대적 정규화기는 다양한 도메인성 크기로 인한 내부 도메인 갭을 효과적으로 줄이는가?
• RQ4 제안된 SAD 프레임워크는 기존 최고 성능 모델에 추론 오버헤드 없이 원활하게 통합될 수 있는가?

주요 결과

• Cityscapes → Foggy Cityscapes 객체 검출 벤치마크에서, SAD는 GPA와 함께 안개 차원에서 4개의 도메인성 수준을 사용할 때 mAP 49.17%를 기록하여 도메인성 증강 없이 기준선을 초월한다.
• Virtual KITTI → CKITTI 세분화 작업에서, SAD는 AdaptSegNet과 함께 '식생' 및 '도로 표지판'과 같은 도전적인 카테고리에 대해 더 정밀한 세분화 마스크를 생성한다.
• 제거 실험 결과, 도메인성 생성기에서 도메인성 수준 수(N)를 늘일수록 mAP가 지속적으로 향상되며, N=4일 때 안개 차원에서 mAP 45.23%를 기록한 반면, N=0일 때는 43.17%였다.
• 하이퍼파rameter 분석 결과, λspf = 0.1일 때 최적의 성능을 기록했으며, 다양한 백본 아키텍처와 데이터셋에서도 강인한 성능을 유지했다.
• 정성적 결과는 SAD가 기준선 방법보다 낮은 시야 조건에서도 더 높은 신뢰도 예측을 하고 더 많은 객체를 탐지함을 보여준다.