[논문 리뷰] Instance Adaptive Self-Training for Unsupervised Domain Adaptation

Ke Mei, Chuang Zhu외 2명|arXiv (Cornell University)|2020. 08. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 19

한 줄 요약

이 논문은 영상 분할에서 비지도 도메인 적응을 위한 새로운 자기학습 프레임워크인 인스턴스 적응형 자기학습(IAST)을 제안한다. 이는 인스턴스 수준의 신뢰도에 따라 동적으로 선택을 조정하는 인스턴스 적응형 선택기와 예측을 정교화하기 위한 영역 유도 정규화를 도입하여 가짜 레이블의 품질을 향상시킨다. 이로 인해 GTA5에서 Cityscapes로의 변환(52.2% mIoU)과 SYNTHIA에서 Cityscapes로의 변환(57.0% mIoU*)에서 최신 기술 수준의 성능을 달성하며, 다양한 방법에 대해 높은 확장성을 보인다.

ABSTRACT

The divergence between labeled training data and unlabeled testing data is a significant challenge for recent deep learning models. Unsupervised domain adaptation (UDA) attempts to solve such a problem. Recent works show that self-training is a powerful approach to UDA. However, existing methods have difficulty in balancing scalability and performance. In this paper, we propose an instance adaptive self-training framework for UDA on the task of semantic segmentation. To effectively improve the quality of pseudo-labels, we develop a novel pseudo-label generation strategy with an instance adaptive selector. Besides, we propose the region-guided regularization to smooth the pseudo-label region and sharpen the non-pseudo-label region. Our method is so concise and efficient that it is easy to be generalized to other unsupervised domain adaptation methods. Experiments on 'GTA5 to Cityscapes' and 'SYNTHIA to Cityscapes' demonstrate the superior performance of our approach compared with the state-of-the-art methods.

연구 동기 및 목표

• 비지도 도메인 적응(UDA)에서 가짜 레이블의 품질을 향상시켜 도메인 간 이격 문제를 해결하고자 한다.
• 고정된 신뢰도 임계값으로 인해 반복적이고 저품질의 가짜 레이블이 발생하는 기존 자기학습 방법의 한계를 극복하고자 한다.
• 모델 전용 아키텍처 변경 없이도 성능 향상을 이끌 수 있는 확장성 있고 모듈화된 프레임워크를 개발하고자 한다.
• 일반화 가능한 학습 전략을 통해 비지도 및 준지도 학습 환경 모두에 효과적으로 적용할 수 있도록 하고자 한다.

제안 방법

• 개별 인스턴스의 신뢰도에 따라 가짜 레이블 생성을 동적으로 조정하는 인스턴스 적응형 선택기를 도입하여 다양성을 증가시키고 중복을 줄인다.
• 가짜 레이블 영역 내에서는 예측을 부드럽게 하고 외부에서는 날카롭게 하여 공간 일관성을 향상시키는 영역 유도 정규화를 적용한다.
• 두 단계 학습 파이프라인을 사용한다: 비-self-training 방법(예: 적대적 학습)을 사용하는 웜업 단계 이후, 제안된 구성 요소를 포함한 자기학습 단계로 진행된다.
• AdaptSeg 및 AdvEnt와 같은 기존 UDA 방법에 적용하여 플러그 앤 플레이 호환성과 성능 향상을 입증한다.
• 이미지 간 클래스별 순위 기반 신뢰도 전략을 활용하여 적응형 선택기를 이끌어내어 고신뢰도 픽셀에 대한 과도한 의존을 방지한다.
• 복잡한 모듈 결합을 피하여 단순성과 효율성을 유지함으로써 다른 UDA 및 준지도 학습 작업에 광범위하게 적용 가능하도록 한다.

실험 결과

연구 질문

• RQ1 인스턴스 적응형 가짜 레이블 생성 전략은 자기학습을 통한 UDA에서 가짜 레이블의 품질과 다양성을 향상시킬 수 있는가?
• RQ2 실제 레이블이 없는 타겟 도메인에서 영역 유도 정규화는 공간 일관성과 예측 정확도를 향상시킬 수 있는가?
• RQ3 제안된 IAST 프레임워크는 아키텍처 수정 없이 비-self-training UDA 방법에 효과적으로 적용될 수 있는가?
• RQ4 GTA5-to-Cityscapes와 SYNTHIA-to-Cityscapes와 같은 도전적인 도메인 이격 벤치마크에서 IAST는 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 IAST는 타겟 도메인에서 제한된 레이블 데이터를 가진 준지도 학습으로 확장될 수 있는가?

주요 결과

• IAST는 GTA5-to-Cityscapes 벤치마크에서 52.2% mIoU를 달성하여 이전 최신 기술 수준의 방법인 BLF보다 1.4%p 높은 성능을 보였다.
• 더 도전적인 SYNTHIA-to-Cityscapes 벤치마크에서는 57.0% mIoU*를 기록하여 다음으로 좋은 방법보다 3.2%p 높은 성능을 달성했다.
• 비-self-training UDA 방법에 적용했을 경우, GTA5-to-Cityscapes에서 AdaptSeg [27]는 +7.8% mIoU, AdvEnt [29]는 +4.4% mIoU 향상을 기록했다.
• Cityscapes에서 레이블 데이터의 1/2만 사용했을 때 IAST는 69.8% mIoU를 기록하여 동일 조건에서 이전 준지도 학습 방법들을 압도했다.
• 이 방법은 아키텍처 의존 없이 고도의 일반화 능력을 보이며, 높은 도메인 갭과 낮은 도메인 갭 모두에서 성능 향상을 이끌어냈다.
• 제거 실험을 통해 인스턴스 적응형 선택기와 영역 유도 정규화 모두 성능 향상에 기여하는 것으로 확인되었다.