[논문 리뷰] MetaCorrection: Domain-aware Meta Loss Correction for Unsupervised Domain Adaptation in Semantic Segmentation

Xiaoqing Guo, Chen Yang외 2명|arXiv (Cornell University)|2021. 03. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 44인용 수 8

한 줄 요약

이 논문은 도메인 인식 메타학습 프레임워크인 MetaCorrection을 제안하며, 도메인 불변성 있는 소스 데이터를 바탕으로 메타최적화를 통해 노이즈가 있는 가짜 레이블을 보정함으로써 비지도 도메인 적응(UDA)을 위한 세분화 분석에서 노이즈가 있는 가짜 레이블을 수정한다. 이 방법은 계층별 NTM을 적용함으로써 일반화 능력과 깊은 적응 능력을 향상시키며, 세 가지 벤치마크에서 최신 기술 성능을 달성하여 이전의 자기학습 방법 대비 mIoU 성능을 최대 2.9% 향상시킨다.

ABSTRACT

Unsupervised domain adaptation (UDA) aims to transfer the knowledge from the labeled source domain to the unlabeled target domain. Existing self-training based UDA approaches assign pseudo labels for target data and treat them as ground truth labels to fully leverage unlabeled target data for model adaptation. However, the generated pseudo labels from the model optimized on the source domain inevitably contain noise due to the domain gap. To tackle this issue, we advance a MetaCorrection framework, where a Domain-aware Meta-learning strategy is devised to benefit Loss Correction (DMLC) for UDA semantic segmentation. In particular, we model the noise distribution of pseudo labels in target domain by introducing a noise transition matrix (NTM) and construct meta data set with domain-invariant source data to guide the estimation of NTM. Through the risk minimization on the meta data set, the optimized NTM thus can correct the noisy issues in pseudo labels and enhance the generalization ability of the model on the target data. Considering the capacity gap between shallow and deep features, we further employ the proposed DMLC strategy to provide matched and compatible supervision signals for different level features, thereby ensuring deep adaptation. Extensive experimental results highlight the effectiveness of our method against existing state-of-the-art methods on three benchmarks.

연구 동기 및 목표

• 세분화 분석을 위한 자기학습 기반 비지도 도메인 적응(UDA)에서 노이즈가 있는 가짜 레이블의 문제를 해결한다.
• 유용한 정보를 기각하는 수동 임계값 설정과 신뢰도 기반 필터링의 한계를 극복한다.
• 데이터 기반의 노이즈 전이 행렬(NTM)을 학습하여 감독 신호를 보정함으로써 모델의 일반화 능력을 향상시킨다.
• 학습 가능한 NTM를 통해 계층별로 일치하는 감독 신호를 제공함으로써 깊은 적응을 보장한다.
• 메타학습 전략을 통해 다양한 노이즈 유형과 도메인 이동에 대해 강건한 적응을 가능하게 한다.

제안 방법

• 도메인 불변성 있는 소스 데이터를 메타데이터셋으로 사용하여 도메인 인식 메타학습 전략을 도입함으로써 타겟 가짜 레이블의 노이즈 전이 행렬(NTM)을 추정한다.
• 학습 가능한 NTM를 사용하여 타겟 가짜 레이블의 노이즈 분포를 모델링하며, 이는 클래스 간 잘못된 분류 확률을 캡처한다.
• 메타데이터셋에서 위험 최소화를 통해 NTM를 최적화함으로써 모델이 타겟 도메인 내에서 깨끗한 레이블 분포를 학습할 수 있도록 한다.
• UDA 세분화 모델과 NTM 간의 교차 최적화를 통해 가짜 레이블 보정과 특징 학습을 동시에 향상시킨다.
• 계층별 NTM를 도입하여 여러 네트워크 계층으로 프레임워크를 확장함으로써 특징 계층 간의 호환성 있는 감독을 보장한다.
• 도메인 예측기로 도메인 불변성이 높은 소스 샘플을 적응적으로 선택함으로써 메타최적화의 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 수동 임계값에 의존하지 않고 자기학습 기반 UDA를 위한 세분화 분석에서 노이즈가 있는 가짜 레이블을 효과적으로 보정할 수 있는 방법은 무엇인가?
• RQ2 데이터 기반의 메타학습된 노이즈 전이 행렬이 도메인 이동 상황에서 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ3 제안된 도메인 인식 메타학습 전략은 타겟 가짜 레이블의 노이즈 분포 추정에 어떻게 기여하는가?
• RQ4 계층별 NTM는 UDA에서 깊은 특징 적응을 어느 정도 향상시킬 수 있는가?
• RQ5 MetaCorrection 프레임워크는 가짜 레이블의 다양한 노이즈 유형에 대해 얼마나 강건한가?

주요 결과

• MetaCorrection는 세 가지 표준 UDA 벤치마크에서 최신 기술 성능을 달성하며, 이전의 자기학습 방법 대비 최대 2.9% mIoU 향상을 기록했다.
• 노이즈가 있는 가짜 레이블에 적용했을 때 AdaptSegNet의 mIoU는 42.4%에서 47.3%로 향상되어 높은 노이즈에 대한 강건성을 입증했다.
• t-SNE 시각화 결과, MetaCorrection의 특징 표현이 라벨이 있는 타겟 데이터로 미세조정된 오라클 모델과 가장 유사함을 보여, 효과적인 도메인 정렬을 확인했다.
• 학습된 NTM의 시각화 결과는 각 계층 간에 뚜렷한 노이즈 전이 패턴이 존재함을 확인했으며, 얕은 계층과 깊은 계층에서 노이즈 분포가 다름을 입증했다.
• 모호하고 소수의 클래스(예: '신호등', '승객', '자전거')의 세분화 성능이 크게 향상되었으며, 이는 노이즈 레이블링에 취약한 클래스에 대해 효과적임을 보여준다.
• 제거 실험을 통해 도메인 인식 메타학습 전략이 정확한 NTM 추정과 뛰어난 성능 향상에 필수적임을 확인했다.