[논문 리뷰] Contrastive Model Adaptation for Cross-Condition Robustness in Semantic Segmentation

David Brüggemann, Christos Sakaridis외 2명|arXiv (Cornell University)|2023. 01. 01.

Domain Adaptation and Few-Shot Learning인용 수 3

한 줄 요약

이 논문은 대조적 학습을 통해 조건 불변 특징을 학습하는 새로운 방법인 대조적 모델 적응(CMA)을 제안한다. CMA는 GPS로 정렬된 정상 조건 및 악조건 이미지 쌍을 활용하여 악조건에 대한 내성적인 특징을 학습함으로써, 정상 조건에서 학습된 모델을 악조건 환경에 적응시키는 데 성공한다. CMA는 기준(정상) 이미지의 특징을 악조건 이미지의 시점에 맞게 왜곡하고, 유사한 의미적 특징들을 그룹화하는 대조적 손실을 사용함으로써, 소스 학습 데이터에 접근할 수 없는 상황에서도 표준 비지도 도메인 적응 방법보다 뛰어난 성능을 달성한다.

ABSTRACT

Standard unsupervised domain adaptation methods adapt models from a source to a target domain using labeled source data and unlabeled target data jointly. In model adaptation, on the other hand, access to the labeled source data is prohibited, i.e., only the source-trained model and unlabeled target data are available. We investigate normal-to-adverse condition model adaptation for semantic segmentation, whereby image-level correspondences are available in the target domain. The target set consists of unlabeled pairs of adverse- and normal-condition street images taken at GPS-matched locations. Our method -- CMA -- leverages such image pairs to learn condition-invariant features via contrastive learning. In particular, CMA encourages features in the embedding space to be grouped according to their condition-invariant semantic content and not according to the condition under which respective inputs are captured. To obtain accurate cross-domain semantic correspondences, we warp the normal image to the viewpoint of the adverse image and leverage warp-confidence scores to create robust, aggregated features. With this approach, we achieve state-of-the-art semantic segmentation performance for model adaptation on several normal-to-adverse adaptation benchmarks, such as ACDC and Dark Zurich. We also evaluate CMA on a newly procured adverse-condition generalization benchmark and report favorable results compared to standard unsupervised domain adaptation methods, despite the comparative handicap of CMA due to source data inaccessibility. Code is available at https://github.com/brdav/cma.

연구 동기 및 목표

• dense 안개, 비, 눈과 같은 악조건 시각 조건 하에서 의미적 세그멘테이션의 강건성을 해결하기 위해.
• 개인정보나 기밀 제약으로 인해 실세계 구현에서 흔히 발생하는 레이블이 있는 소스 데이터에 접근할 수 없는 상황에서도 작동하는 모델 적응 방법을 개발하기 위해.
• GPS로 정렬된 동일 위치의 정상 조건 및 악조건 이미지 쌍과 같은 이미지 수준의 대응 관계를 활용하여, 조건 간 일반화 능력을 향상시키기 위해.
• 대조적 학습을 통해 조건 불변 특징을 학습하여 기상 조건으로 인한 도메인 이동을 최소화하기 위해.
• ACDC 및 Dark Zurich와 같은 벤치마크에서 의미적 세그멘테이션의 모델 적응에 대해 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• CMA는 악조건 이미지의 특징을 앵커로 사용하고, 정렬된 정상 조건 이미지의 대응 특징을 양성 샘플로 사용하는 대조적 학습 프레임워크를 사용한다.
• 예측된 왜곡을 사용하여 정상 조건 이미지의 특징맵을 악조건 이미지의 공간 시점에 맞게 왜곡함으로써, 대응되는 특징의 공간 정렬을 가능하게 한다.
• 신뢰도 조절 특징 집합 전략은 잘못 정렬된 특징이나 불확실성에 대해 더 강건한 특징을 생성하기 위해 왜곡된 특징을 조합한다.
• 대조적 손실은 악조건 이미지 특징과 대응하는 정상 조건 특징의 양성 쌍을 임베딩 공간에서 가까이 모은다. 동시에 같은 이미지 또는 다른 이미지의 다른 특징(음성 쌍)과는 멀어지도록 한다.
• 학습 안정성 향상과 모드 붕괴 방지를 위해 특징의 지수 이동 평균(EMA)을 사용한다.
• 사전 학습된 소스 모델과 함께, 쌍으로 제공된 기준 이미지가 있는 타겟 이미지(라벨 없음)만을 사용하여 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 정상 조건 및 악조건 이미지 간의 이미지 수준의 대응 관계를 소스 없는 적응 설정에서 효과적으로 활용하여 조건 간 의미적 세그멘테이션 성능을 향상시킬 수 있는가?
• RQ2 정상 조건 특징을 양성 샘플로 사용하는 대조적 학습이, 표준 도메인 적응 또는 단순 미세조정보다 더 조건 불변 표현을 생성하는가?
• RQ3 왜곡 신뢰도 및 특징 집합 전략이 잘못 정렬 및 도메인 이동에 대한 강건성을 어떻게 향상시키는가?
• RQ4 소스 학습 데이터에 접근할 수 없는 상황에서도 모델 적응 방법이 표준 비지도 도메인 적응(UDA) 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ5 제안된 방법이 새로운 벤치마크에서 새로운 악조건 조건으로까지 일반화되는 정도는 어느 정도인가?

주요 결과

• CMA는 ACDC 검증 세트에서 mIoU 67.2를 기록하여 정상-악조건 의미적 세그멘테이션의 모델 적응 분야에서 새로운 최신 기술 수준(SOTA)을 수립했다.
• Dark Zurich 벤치마크에서 CMA는 기존의 모델 적응 방법을 능가하며, 일부 표준 UDA 방법조차도 앞서며, 소스 데이터 접근 없이도 효과적인 성능을 보였다.
• 제거 실험 결과, 대조적 손실을 제거할 경우 mIoU가 60.1로 감소하여, 대조적 목적함수가 성능 향상에 필수적임을 확인했다.
• t-SNE 시각화 결과, CDC 손실을 사용한 CMA는 서로 다른 조건(예: 하늘, 보도)의 특징을 효과적으로 그룹화한 반면, CDC 손실이 없는 버전은 흩어진, 그룹화되지 않은 특징을 보였다.
• 하이퍼파rameter 민감도 분석 결과, 임베딩 격자 크기 및 InfoNCE 온도의 변화에 대해 성능가 안정적이었으며, 안정적인 최적화를 의미한다.
• 최근 도입된 악조건 일반화(ACG) 벤치마크에서 CMA는 표준 UDA 방법과 비교해 유리한 성능을 기록하였으며, 데이터 접근의 열악함에도 불구하고 일반화 능력이 검증되었다.