[논문 리뷰] AUGCO: Augmentation Consistency-guided Self-training for Source-free Domain Adaptive Semantic Segmentation

Viraj Prabhu, Shivam Khare외 2명|arXiv (Cornell University)|2021. 07. 21.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

AUGCO는 공간적 및 색상 변형을 통해 픽셀 수준의 예측 일관성과 각 클래스의 신뢰도를 활용해 신뢰할 수 있는 의사 레이블을 선택함으로써 모델의 견고성을 향상시키는 소스 프리 도메인 적응 방법이다. 이미지당 단일 순방향 전파와 배치 정규화 업데이트만을 사용하여 GTA5→Cityscapes (+3.9 mIoU) 및 Cityscapes→Dark Zurich (+5.8 mIoU) 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Most modern approaches for domain adaptive semantic segmentation rely on continued access to source data during adaptation, which may be infeasible due to computational or privacy constraints. We focus on source-free domain adaptation for semantic segmentation, wherein a source model must adapt itself to a new target domain given only unlabeled target data. We propose Augmentation Consistency-guided Self-training (AUGCO), a source-free adaptation algorithm that uses the model's pixel-level predictive consistency across diverse, automatically generated views of each target image along with model confidence to identify reliable pixel predictions, and selectively self-trains on those. AUGCO achieves state-of-the-art results for source-free adaptation on 3 standard benchmarks for semantic segmentation, all within a simple to implement and fast to converge method.

연구 동기 및 목표

• 자신의 레이블이 없는 소스 데이터가 적응 단계에서 이용 불가능한 소스 프리 도메인 적응에서 세그멘테이션 문제를 해결한다.
• 모델 출력 전부를 학습하는 대신 신뢰할 수 있는 픽셀 예측을 식별하여 자기 학습에서 오류 누적 문제를 해결한다.
• catastrophic forgetting을 방지하고 도메인 이동 상황에서도 성능을 유지하는 단순하고 효율적인 방법을 개발한다.
• 다양한 증강에 걸친 예측 일관성과 각 클래스의 신뢰도 임계치를 활용해 의사 레이블의 신뢰성을 향상시킨다.
• 추가 매개변수 없이 소스 데이터 접근 없이도 빠르고 단일 에포크 내에서 적응 가능한 경량의 방법을 제공한다.

제안 방법

• 스케일, 맥락, 외관을 다양하게 만들기 위해 무작위 자르기, 리사이징, 색상 왜곡을 사용해 각 타겟 이미지에 대해 두 가지 다채로운 뷰를 생성한다.
• 두 뷰에서 모델 예측을 정렬하고 동일한 예측을 내린 픽셀을 '신뢰할 수 있는' 자기 학습 대상으로 식별한다.
• 신뢰도를 보완하기 위해 각 카테고리별 상위-K 퍼센트 픽셀을 선택한다.
• 신뢰할 수 있는 의사 레이블에만 선택적 자기 학습을 적용하며, 일관성 기반 마스크를 사용해 불신뢰할 수 있는 예측을 걸러낸다.
• 최적화를 제약하여 배치 정규화 파라미터만 업데이트하도록 하여 작업 드리프트를 방지하고 원래 모델 용량을 유지한다 (TENT 방식 따름).
• 이론적으로 이미지당 단일 순방향 전파 내에서 학습을 수행하여 계산 효율성이 높고 수렴 속도가 빠르다.

실험 결과

연구 질문

• RQ1 다양한 증강에 걸친 예측 일관성이 소스 프리 도메인 적응에서 올바른 픽셀 수준의 예측을 신뢰할 수 있는 지표로 기능할 수 있는가?
• RQ2 증강 일관성과 각 클래스의 신뢰도를 결합하면 별도로 사용할 경우보다 자기 학습 성능을 얼마나 향상시킬 수 있는가?
• RQ3 일관성과 신뢰도 기반의 선택적 자기 학습 전략이 오류 누적을 방지하는 데 비선택적 자기 학습보다 우수한가?
• RQ4 이 방법은 다양한 도메인 이동 시나리오(예: GTA5→Cityscapes, Cityscapes→Dark Zurich)에 얼마나 일반화되는가?
• RQ5 소스 데이터 접근 없이 추가 매개변수 없이도 경량의 단일 에포크 적응 방법이 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• AUGCO는 GTA5→Cityscapes에서 +3.9 mIoU, Cityscapes→Dark Zurich에서 +5.8 mIoU 향상으로 새로운 최신 기술 수준의 성능 기록을 달성했다.
• 신뢰할 수 있는 것으로 표시된 의사 레이블 중 86.2%가 올바르게 식별되었고, 반면 신뢰할 수 없는 것으로 표시된 경우는 오직 19.1%에 그쳤다.
• 공간적 및 픽셀 수준의 증강을 모두 사용해 일관성 측정을 수행할 경우 mIoU가 최고 수준인 47.1에 도달하여 두 증강 방식이 상호 보완적 역할을 한다는 것을 입증했다.
• 5 에포크 후 성능이 45.48 mIoU에 도달하고 안정적으로 유지되며, 수렴성과 학습 안정성이 뛰어나다는 것을 보여준다.
• 단일 타겟 데이터 순환 내에서 최적의 성능을 달성하여 계산 효율성이 매우 높다는 점을 입증했다.
• 카테고리별 신뢰도 정밀도와 최종 mIoU 사이에 강한 피어슨 상관관계(0.88)가 관찰되어, 신뢰도가 적응 성공 여부를 강력하게 예측할 수 있음을 시사한다.