[논문 리뷰] Wasserstein Distance Based Domain Adaptation for Object Detection

Pengcheng Xu, Prudhvi Gurram외 2명|arXiv (Cornell University)|2019. 09. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 14

한 줄 요약

이 논문은 객체 검출을 위한 워샤르스키 거리 기반의 적대적 도메인 적응 프레임워크를 제안하며, 소스 및 타겟 특징 간의 분포 차이를 최소화하여 도메인 이동에 대한 일반화 능력을 향상시킨다. 기존의 교차 엔트로피나 GAN 손실을 사용하는 방법들과는 달리, 고차원의 검출 특징 공간에서 더 안정적인 훈련을 위해 워샤르스키 거리를 활용하고, 소스 및 타겟 특징 추출기를 분리하여 독립적인 최적화를 가능하게 하여, 합성 SIM10k 데이터에서 Cityscapes로의 적응에서 최신 기준 AP 40.6%를 달성한다.

ABSTRACT

In this paper, we present an adversarial unsupervised domain adaptation framework for object detection. Prior approaches utilize adversarial training based on cross entropy between the source and target domain distributions to learn a shared feature mapping that minimizes the domain gap. Here, we minimize the Wasserstein distance between the two distributions instead of cross entropy or Jensen-Shannon divergence to improve the stability of domain adaptation in high-dimensional feature spaces that are inherent to object detection task. Additionally, we remove the exact consistency constraint of the shared feature mapping between the source and target domains, so that the target feature mapping can be optimized independently, which is necessary in the case of significant domain gap. We empirically show that the proposed framework can mitigate domain shift in different scenarios, and provide improved target domain object detection performance.

연구 동기 및 목표

• 학습 데이터(소스)와 배포 데이터(타겟)의 분포가 상당히 다를 때 객체 검출에서 발생하는 도메인 이동 문제를 해결하기 위해.
• 딥 객체 검출기에서 흔히 볼 수 있는 고차원 특징 공간에서의 비지도 도메인 적응의 안정성과 성능을 향상시키기 위해.
• 기존의 적대적 도메인 적응 방법에서 공유되는 특징 추출기의 한계를 극복하기 위해 소스 및 타겟 네트워크의 독립적인 최적화를 가능하게 하기 위해.
• 타겟 도메인의 레이블 데이터를 요구하지 않고도 타겟 도메인에서의 검출 정확도를 향상시키기 위해.

제안 방법

• 소스 및 타겟 특징 분포 간의 워샤르스키 거리를 도메인 갭을 최소화하기 위한 측정 기준으로 사용하여, 교차 엔트로피나 젠센-쇼넬 분산과 같은 기존 방법을 대체한다.
• 두 단계 도메인 적응 프로세스를 도입한다: 특징 수준의 분포를 전역적으로 정렬한 후, 영역 제안 네트워크(RPN) 특징을 국소적으로 정렬한다.
• 소스 및 타겟 특징 추출기를 분리하여 타겟 네트워크가 자체 최적의 특징 매핑을 독립적으로 학습할 수 있도록 하여, 큰 도메인 갭 상황에서도 강건성을 향상시킨다.
• 비용 함수를 추정하기 위해 비평가 네트워크를 사용하고, 워샤르스키 거리를 추정하며, 기울기 반전을 통해 특징 추출기를 최소화-최대화 방식으로 업데이트한다.
• 국소 정렬 동안 검출 손실과 도메인 적응 손실을 반복적으로 최소화하여 훈련을 안정화시킨다.
• 도메인 분류기의 도메인 판별자에서 기울기 반전 레이어(GRL)를 사용하여 특징 추출기를 엔드 투 엔드 방식으로 훈련시켜 도메인 분류기를 속이도록 한다.

실험 결과

연구 질문

• RQ1 고차원의 객체 검출 특징 공간에서 기존의 GAN 손실보다 워샤르스키 거리가 더 안정적인 도메인 적응을 제공할 수 있는가?
• RQ2 큰 도메인 갭 상황에서 소스 및 타겟 특징 추출기를 분리하면 적응 성능이 향상되는가?
• RQ3 두 단계 도메인 정렬(전역 정렬 → 국소 정렬)은 다양한 도메인 이동 시나리오에서 도메인 이동을 줄이는 데 얼마나 효과적인가?
• RQ4 제안된 방법은 타겟 도메인의 애너테이션 없이도 객체 검출 벤치마크에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• 합성 SIM10k 데이터에서 Cityscapes 데이터셋으로의 적응에서 제안된 방법이 40.6%의 AP를 달성하여 기존의 비지도 도메인 적응 방법을 능가한다.
• 전역 도메인 정렬만으로도 상당한 성능 향상(39.8%의 AP)을 이끌어내어 워샤르스키 기반 분포 정렬의 효과성을 입증한다.
• 국소 정렬을 통해 성능이 39.8%에서 40.6%로 향상되어, 영역 제안의 세밀한 적응이 잘못된 검출을 줄이고 정렬 정확도를 향상시킨다는 것을 시사한다.
• 시각적으로 확인된 정성적 결과에서, 탐지 실패 수를 줄이고 정렬 정확도를 향상시켜, 안개가 낀 이미지와 실제 도메인 이미지 양쪽 모두에서 효과를 보였다.
• 합성에서 실세계, 기상 조건 변화 등 다양한 도메인 이동 시나리오에서 프레임워크가 강건함을 보였다.
• 계산 제약(예: 작은 배치 크기)이 국소 정렬의 잠재력을 제한할 수 있으며, 더 큰 배치 크기 또는 더 나은 정규화 기법을 통해 향상 여지가 있음을 시사한다.