[논문 리뷰] MIC: Masked Image Consistency for Context-Enhanced Domain Adaptation

Lukas Hoyer, Dengxin Dai외 2명|arXiv (Cornell University)|2022. 12. 02.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 비지도 학습 도메인 적응(Ubiquitous Domain Adaptation, UDA)을 위한 플러그인 모듈인 마스킹 이미지 일관성(Masked Image Consistency, MIC)을 제안한다. 이는 마스킹된 타겟 이미지의 예측과 마스킹되지 않은 이미지의 의사 레이블 간의 일관성을 강제하여 정확도를 향상시키며, 맥락 정보를 활용해 마스킹된 영역을 추론함으로써 강건성을 높인다. MIC는 다양한 작업(분류, 세분화, 검출)에서 일관된 성능 향상을 이끌어내며, 최신 성능을 기록한다. 특히 GTA→Cityscapes에서 75.9 mIoU, VisDA-2017에서 92.8%의 정확도를 달성한다.

ABSTRACT

In unsupervised domain adaptation (UDA), a model trained on source data (e.g. synthetic) is adapted to target data (e.g. real-world) without access to target annotation. Most previous UDA methods struggle with classes that have a similar visual appearance on the target domain as no ground truth is available to learn the slight appearance differences. To address this problem, we propose a Masked Image Consistency (MIC) module to enhance UDA by learning spatial context relations of the target domain as additional clues for robust visual recognition. MIC enforces the consistency between predictions of masked target images, where random patches are withheld, and pseudo-labels that are generated based on the complete image by an exponential moving average teacher. To minimize the consistency loss, the network has to learn to infer the predictions of the masked regions from their context. Due to its simple and universal concept, MIC can be integrated into various UDA methods across different visual recognition tasks such as image classification, semantic segmentation, and object detection. MIC significantly improves the state-of-the-art performance across the different recognition tasks for synthetic-to-real, day-to-nighttime, and clear-to-adverse-weather UDA. For instance, MIC achieves an unprecedented UDA performance of 75.9 mIoU and 92.8% on GTA-to-Cityscapes and VisDA-2017, respectively, which corresponds to an improvement of +2.1 and +3.0 percent points over the previous state of the art. The implementation is available at https://github.com/lhoyer/MIC.

연구 동기 및 목표

• 타겟 도메인에 대한 지도 레이블이 없기 때문에, 외관적으로 유사한 클래스(예: 도로/보도)가 잘못 분류되는 비지도 학습 도메인 적응(Ubiquitous Domain Adaptation, UDA)의 과제를 해결한다.
• 기존 UDA 방법이 효과적으로 활용하지 못하는 타겟 도메인 내 공간적 맥락 관계를 명시적으로 학습함으로써 시각 인식의 강건성을 향상시킨다.
• 다양한 인식 작업(분류, 세분화, 검출)과 다양한 UDA 프레임워크에 쉽게 통합될 수 있는 단순하고 보편적인 모듈을 개발한다.
• 합성에서 실세계, 맑은 날에서 악천후, 낮에서 밤으로의 이행 등 다양한 도메인 갭에 대해 일관된 성능 향상을 달성한다.
• 특히 국소적인 외관이 모호할 경우에도 커브, 주변 물체와 같은 맥락적 단서를 활용해 이미지 의미를 종합적으로 추론할 수 있도록 한다.

제안 방법

• 학습 중 타겟 이미지의 무작위 패치를 마스킹하여, 학생 네트워크가 맥락 정보를 활용해 마스킹된 영역의 의미를 추론하도록 유도하는 마스킹 이미지 일관성(MIC) 모듈을 도입한다.
• 지속적인 평균(Exponential Moving Average, EMA)을 사용한 교사 모델을 활용해 마스킹되지 않은 전체 타겟 이미지의 의사 레이블을 생성하며, 이는 강건하고 맥락 인식 능력이 뛰어난 감독 신호를 제공한다.
• 학생 네트워크가 마스킹된 이미지에 대해 예측한 결과와 마스킹되지 않은 이미지의 의사 레이블 간의 일관성 손실을 최소화함으로써, 학생 네트워크가 맥락적 의존성을 학습하도록 유도한다.
• 기존의 UDA 방법(예: 적대적 학습, 엔트로피 최소화, 자기 학습 기반)과 다양한 아키텍처(CNN 및 트랜스포머 기반)에 MIC를 플러그인 방식으로 통합한다.
• 학습 중 다양한 영역을 무작위로 마스킹함으로써 학생 네트워크가 다양한 맥락 구성에 대해 일반화하도록 훈련시켜, 다양한 맥락 설정에 대한 강건성을 확보한다.
• 자기 학습 과정 중 의사 레이블 생성의 신뢰성을 향상시키기 위해 EMA 교사 모델을 사용하여 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 마스킹된 타겟 이미지의 예측과 마스킹되지 않은 이미지의 의사 레이블 간 일관성을 강제하면 도메인 적응 성능이 향상되는가?
• RQ2 공간적 맥락 관계를 학습함으로써, 타겟 도메인에 대한 레이블이 없을 경우 외관적으로 유사한 클래스(예: 도로 대비 보도)의 오분류를 얼마나 줄일 수 있는가?
• RQ3 MIC는 다양한 UDA 프레임워크, 인식 작업, 도메인 갭에 대해 얼마나 효과적인 플러그인 모듈로 기능하는가?
• RQ4 악천후나 저조도 환경과 같은 도전적인 타겟 도메인 조건에서 MIC는 일반화 성능을 향상시키는가?
• RQ5 MIC의 실패 원인은 무엇이며, 맥락 의존성 가정과 분포 외 객체 배치와의 관련성은 어떠한가?

주요 결과

• GTA→Cityscapes 세분화 벤치마크에서 MIC는 기존 최고 성능보다 +2.1%p 향상된 75.9 mIoU의 새로운 최고 성능을 달성한다.
• VisDA-2017 이미지 분류 벤치마크에서 MIC는 기존 최고 성능보다 +3.0%p 향상된 92.8%의 Top-1 정확도를 기록한다.
• CS→DarkZurich 벤치마크에서 MIC는 +4.3%p 향상되어 악천후 환경 적응에 대한 강력한 일반화 능력을 입증한다.
• Foggy Cityscapes에서의 객체 검출 작업에서, MIC(SADA)는 기존에 놓쳤던 버스, 트럭, 자전거 탑승자, 오토바이 등의 인스턴스를 검출함으로써 저시야 조건에서의 강건성을 향상시켰다.
• 정성적 분석 결과, 커브나 자전거와 같은 맥락적 단서가 존재할 경우, MIC는 이전 방법보다 더 완전하고 일관성 있게 모호한 영역(예: 보도, 울타리, 부분적으로 가려진 차량)을 세분화한다.
• 성능 향상에도 불구하고, MIC는 희귀 객체의 출현, 도로-보도 영역의 융합, 운동 왜곡에 대해 여전히 어려움을 겪으며, 극단적 또는 맥락 외의 상황에서는 제한이 있음을 시사한다.