[논문 리뷰] ADVENT: Adversarial Entropy Minimization for Domain Adaptation in Semantic Segmentation

Tuan-Hung Vu, Himalaya Jain외 3명|arXiv (Cornell University)|2018. 11. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 60인용 수 1,403

한 줄 요약

이 논문은 시맨틱 분할을 위한 엔트로피 기반 비지도 도메인 적응을 도입하며, 직접 엔트로피 최소화와 AdvEnt(Adversarial Entropy Minimization) 접근법을 제시하여 GTA5→Cityscapes, SYNTHIA→Cityscapes 벤치마크에서 SOTA를 달성합니다.

ABSTRACT

Semantic segmentation is a key problem for many computer vision tasks. While approaches based on convolutional neural networks constantly break new records on different benchmarks, generalizing well to diverse testing environments remains a major challenge. In numerous real world applications, there is indeed a large gap between data distributions in train and test domains, which results in severe performance loss at run-time. In this work, we address the task of unsupervised domain adaptation in semantic segmentation with losses based on the entropy of the pixel-wise predictions. To this end, we propose two novel, complementary methods using (i) entropy loss and (ii) adversarial loss respectively. We demonstrate state-of-the-art performance in semantic segmentation on two challenging "synthetic-2-real" set-ups and show that the approach can also be used for detection.

연구 동기 및 목표

• 합성(source) 데이터와 실제(target) 데이터 간의 도메인 차이를 시맨틱 분할에서 해결한다.
• 타깃 레이블이 없이도 저-엔트로피(자신감 있는) 타깃 예측을 촉진하기 위한 엔트로피 기반 목표를 도입한다.
• 소스와 타깃 도메인 간 가중 자기정보를 정렬하는 적대적 확장(AdvEnt)을 제안한다.
• 엔트로피 범위에서의 학습 및 클래스-비율(priors) 도입과 같은 실용적 개선으로 성능을 높인다.

제안 방법

• 타깃 예측에 엔트로피 손실을 추가하여 저-엔트로피 출력을 유도하는 직접 엔트로피 최소화( MinEnt ).
• 두 번째 접근법(AdvEnt)은 가중 자기정보 맵에 대한 적대적 학습을 사용하여 디스크리미네이터를 통해 소스와 타깃의 예측 구조를 맞추고(F를 속여 L_D를 최소화) 정렬한다.
• 자기정보 맵 I_x를 I_x^{(h,w)} = -P_x^{(h,w)} log P_x^{(h,w)}로 정의하고 디스크리미네이터 D를 사용하여 소스 대 타깃을 구분; D를 속이도록 F를 학습한다(= 최소화 L_D).
• 소스의 감독 하의 분할 손실과 타깃에 대한 엔트로피 또는 적대적 손실(L_ent 또는 L_adv)을 통합된 목표로 결합한다.
• 타깃 예측을 정규화하기 위해 소스에서 클래스-비율 priors를 L_cp로 도입하는 것을 옵션으로 포함시킬 수 있다.
• 자체 학습(self-training)과의 연결을 논의하고, 엔트로피 최소화가 임계값이 고정되지 않은 소프트한 범위 기반의 의사레이블링 대체로 작용한다는 점을 강조한다.

실험 결과

연구 질문

• RQ1 엔트로피 기반 목표가 타깃 레이블 없이 시맨틱 분할의 도메인 적응을 개선할 수 있는가?
• RQ2 직접 엔트로피 최소화(MinEnt)와 적대적 엔트로피 최소화(AdvEnt)가 소스-타깟 간 격차를 좁히는 데 어떻게 비교되는가?
• RQ3 가중 자기정보의 적대적 정렬을 통한 구조 정보 도입이 픽셀 단위 엔트로피 최소화보다 성능을 향상시키는가?
• RQ4 엔트로피 범위 학습과 클래스-비율 priors가 도전적인 합성-실제 설정에서 실질적 이점을 제공하는가?

주요 결과

• AdvEnt는 GTA5→Cityscapes에서 최첨단 성능을 달성하고 SYNTHIA→Cityscapes에서 베이스라인보다 개선을 보이며, 적대적 구조 정렬로 인한 상당한 이득이 있다.
• 직접 MinEnt는 경쟁력이 있으며 특히 용량이 낮은 네트워크에서 일부 베이스라인보다 앞서며 엔트로피-범위 학습의 이점을 얻는다.
• 가중 자기정보의 적대적 정렬은 구조적 일관성을 포착하고 직접 엔트로피 최소화보다 추가 이득을 낸다.
• MinEnt와 AdvEnt의 앙상블이 여러 설정에서 최상의 전반 성능을 제공한다.
• 클래스-비율 priors를 도입하면 클래스 바이어스를 완화하고 더 도전적인 타깃 도메인 배열에서 mIoU를 향상시킨다.