[논문 리뷰] Exploiting Negative Learning for Implicit Pseudo Label Rectification in Source-Free Domain Adaptive Semantic Segmentation

Xin Luo, Wei Chen외 4명|arXiv (Cornell University)|2021. 06. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 6

한 줄 요약

이 논문은 원본 모델 내부 정보에 접근할 필요 없이 노이즈가 있는 가짜 레이블을 신뢰도 정규화와 노이즈 인식 학습을 통해 보정하는 소스 프리 도메인 적응(SFDA) 방법인 PR-SFDA를 제안한다. 최대 제곱 예측 확률 정규화와 공동 양성-음성 학습을 조합함으로써 PR-SFDA는 GTA5→Cityscapes에서 49.0 mIoU를 달성하여, 소스 모델 사양이나 깨끗한 가짜 레이블에 의존하지 않고도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

It is desirable to transfer the knowledge stored in a well-trained source model onto non-annotated target domain in the absence of source data. However, state-of-the-art methods for source free domain adaptation (SFDA) are subject to strict limits: 1) access to internal specifications of source models is a must; and 2) pseudo labels should be clean during self-training, making critical tasks relying on semantic segmentation unreliable. Aiming at these pitfalls, this study develops a domain adaptive solution to semantic segmentation with pseudo label rectification (namely extit{PR-SFDA}), which operates in two phases: 1) extit{Confidence-regularized unsupervised learning}: Maximum squares loss applies to regularize the target model to ensure the confidence in prediction; and 2) extit{Noise-aware pseudo label learning}: Negative learning enables tolerance to noisy pseudo labels in training, meanwhile positive learning achieves fast convergence. Extensive experiments have been performed on domain adaptive semantic segmentation benchmark, extit{GTA5 $ o$ Cityscapes}. Overall, extit{PR-SFDA} achieves a performance of 49.0 mIoU, which is very close to that of the state-of-the-art counterparts. Note that the latter demand accesses to the source model's internal specifications, whereas the extit{PR-SFDA} solution needs none as a sharp contrast.

연구 동기 및 목표

• 소스 모델 내부 정보에 접근하거나 깨끗한 가짜 레이블을 가정하는 데 의존하는 기존 소스 프리 도메인 적응(SFDA) 방법의 한계를 해결하기 위해.
• 소스 데이터 및 모델 사양이 가용하지 않을 경우에도 효과적으로 작동하는 모델에 종속되지 않는 SFDA 방법을 개발하기 위해.
• 자기 학습 과정에서 노이즈가 있는 가짜 레이블을 탐지하고 보정함으로써 타겟 도메인에서의 성능 향상을 위해.
• 신뢰도 정규화와 소스 데이터에 대한 스타일 증강을 통해 모델의 강건성을 향상시키기 위해.
• 최소한의 사전 지식을 가진 상태에서 도메인에 종속되지 않는 세분화 정확도를 높이기 위해.

제안 방법

• 타겟 도메인 이미지에서 예측의 확실성을 향상시키기 위해 최대 제곱 예측 확률(MSL)을 신뢰도 정규화로 적용한다.
• 양성 및 음성 레이블을 동시에 최적화하여 노이즈가 있는 가짜 레이블에 대한 내성성을 높이는 노이즈 인식 가짜 레이블 학습을 도입한다.
• 도메인 다양성을 증가시키고 도메인 이동을 줄이기 위해 소스 데이터에 스타일 증강(예: 색상 왜곡)을 적용한다.
• 초기 수렴을 위한 양성 학습과 노이즈 내성성을 위한 음성 학습을 조합한 가중 손실을 사용하며, 이는 하이퍼파라미터 λnl로 제어된다.
• 비표기 타겟 데이터에서 최적화를 이끄는 데 사용하기 위해 최소 엔트로피(ENT)와 MSL을 통한 불확실성 정규화를 활용한다.
• 두 단계로 운영된다: (1) 신뢰도 정규화된 비지도 학습, (2) 반복적 자기 학습을 통한 노이즈 인식 가짜 레이블 학습.

실험 결과

연구 질문

• RQ1 소스 모델 내부 정보에 접근할 필요 없이 소스 프리 도메인 적응 방법이 세분화에서 높은 성능을 달성할 수 있는가?
• RQ2 정답 애너테이션 없이 자기 학습 과정에서 가짜 레이블 노이즈를 효과적으로 탐지하고 보정할 수 있는가?
• RQ3 신뢰도 정규화가 타겟 도메인 이미지에서 모델 강건성 향상에 어떤 역할을 하는가?
• RQ4 양성 및 음성 레이블에 대한 공동 학습이 단순 자기 학습에 비해 일반화 성능을 어떻게 향상시키는가?
• RQ5 음성 학습 가중치 λnl와 같은 하이퍼파라미터에 대해 제안된 방법이 얼마나 민감한가?

주요 결과

• PR-SFDA는 GTA5→Cityscapes 벤치마크에서 49.0 mIoU를 달성하여, 소스 모델 사양이 필요 없이도 최신 기술 수준의 성능을 확보한다.
• 소스 데이터에 스타일 증강을 적용한 결과, 증강되지 않은 학습 대비 mIoU가 6.3%포인트 향상되어(37.9에서 40.3 mIoU로), 성능 향상이 뚜렷하다.
• MSL을 통한 신뢰도 정규화는 단순히 증강된 소스 데이터로 학습한 베이스라인 모델 대비 mIoU가 13.2% 향상되었다.
• 음성 학습(NLPL)을 통한 노이즈 인식 가짜 레이블 학습은 단순 자기 학습보다 우수한 성능을 보이며, 가짜 레이블 보정의 효과성을 입증한다.
• 하이퍼파라미터 λnl에 대해 매우 낮은 민감도를 보이며, 다양한 설정에서 mIoU가 48.5에서 49.0 사이로 거의 변하지 않아, 안정적인 성능을 확보한다.
• 제거 실험 결과, 모두가 최적 성능을 내기 위해 반드시 필요한 요소임을 확인했다.