[논문 리뷰] Refign: Align and Refine for Adaptation of Semantic Segmentation to Adverse Conditions

David Brüggemann, Christos Sakaridis외 2명|arXiv (Cornell University)|2022. 07. 14.

Domain Adaptation and Few-Shot Learning인용 수 10

한 줄 요약

Refign은 정규 조건의 참조 예측을 목표 이미지에 일치시키고, 적응형 레이블 보정을 통해 오차 전파 문제를 완화함으로써, 안개, 비, 야간 조건과 같은 열악한 시각 조건에서도 성능을 향상시키는 새로운 플러그 앤 플레이 확장 기법이다. 이는 동일한 장면의 서로 다른 조건(예: 주간 및 야간)의 이미지 쌍을 활용하여 약한 지도 신호를 제공한다. Refign은 먼저 불확실성 인식 기반의 고밀도 매칭 네트워크(UAWarpC)를 사용해 정규 조건의 참조 예측을 목표 이미지에 정렬하고, 이후 적응형 레이블 보정을 통해 목표 예측을 개선하여, 추가 학습 파rameter 없이 ACDC에서 65.6%의 최신 기준 mIoU, Dark Zurich에서 56.2%의 mIoU를 달성한다.

ABSTRACT

Due to the scarcity of dense pixel-level semantic annotations for images recorded in adverse visual conditions, there has been a keen interest in unsupervised domain adaptation (UDA) for the semantic segmentation of such images. UDA adapts models trained on normal conditions to the target adverse-condition domains. Meanwhile, multiple datasets with driving scenes provide corresponding images of the same scenes across multiple conditions, which can serve as a form of weak supervision for domain adaptation. We propose Refign, a generic extension to self-training-based UDA methods which leverages these cross-domain correspondences. Refign consists of two steps: (1) aligning the normal-condition image to the corresponding adverse-condition image using an uncertainty-aware dense matching network, and (2) refining the adverse prediction with the normal prediction using an adaptive label correction mechanism. We design custom modules to streamline both steps and set the new state of the art for domain-adaptive semantic segmentation on several adverse-condition benchmarks, including ACDC and Dark Zurich. The approach introduces no extra training parameters, minimal computational overhead -- during training only -- and can be used as a drop-in extension to improve any given self-training-based UDA method. Code is available at https://github.com/brdav/refign.

연구 동기 및 목표

• 안개, 비, 야간 조건과 같은 열악한 시각 조건에서의 세분화 정확도 향상
• 노이즈가 많은 가짜 레이블로 인한 오차 전파 문제를 해결하기 위해 자가학습 기반 UDA에서의 과제 해결
• 동일한 장면의 주간 및 야간 뷰와 같은 교차 조건 이미지 쌍을 약한 지도 신호로 활용하여 도메인 적응 개선
• 기존 UDA 프레임워크에 아키텍처 변경 없이 적용 가능한 일반적이고 파rameter 효율적인 방법 개발

제안 방법

• UAWarpC를 제안한다. 이는 기하학적 매칭 네트워크 WarpC의 확률적 확장으로, 참조 이미지와 목표 이미지 간의 고밀도 대응 매핑을 불확실성 인식 기반 신뢰도 점수와 함께 추정한다.
• 예측된 불확실성을 기반으로 참조 예측의 공간 정렬을 유도하여, 가림 및 동적 객체가 존재하더라도 견고한 특징 왜곡을 가능하게 한다.
• 클래스별 확률과 불확실성에 기반한 신뢰도 가중 혼합 전략을 사용하는 비모수적이고 적응형 레이블 보정 메커니즘을 적용하여, 목표 및 왜곡된 참조 예측을 융합한다.
• 참조 예측의 신뢰도에 따라 그 영향력을 동적으로 조정하는 신뢰도 점수 메커니즘을 도입하여, 야간이나 눈과 같은 어려운 조건에서 특히 유용하다.
• 두 단계로 구성된 개선 프로세스를 활용한다. 첫 번째 단계는 왜곡된 특징을 통해 참조 예측을 목표 이미지에 정렬하는 것이며, 두 번째 단계는 신뢰도 적응형 융합 기반으로 목표 예측을 개선하는 것이다.
• 자기학습 기반 UDA 방법에 어떤 것도 플러그인 확장으로 구현되며, 학습 시 최소한의 계산 오버헤드를 유발한다.

실험 결과

연구 질문

• RQ1 주간 및 야간 뷰와 같은 교차 조건 이미지 쌍을 약한 지도 신호로 활용할 경우, 열악한 시각 조건에서의 세분화 성능 향상이 가능한가?
• RQ2 불확실성 인식 기반 고밀도 매칭은 도메인 적응에서 참조 및 목표 예측 간 정렬을 어떻게 향상시키는가?
• RQ3 정렬된 참조 예측을 기반으로 한 적응형 레이블 보정은 자가학습 기반 UDA에서 오차 전파 문제를 어느 정도 완화할 수 있는가?
• RQ4 참조 및 목표 이미지의 시점이나 내용이 다를 경우에도, 이 방법은 안개, 눈, 야간과 같은 다양한 열악한 조건에서 일반화 가능한가?
• RQ5 제안된 방법은 재학습 없이도 기존 UDA 프레임워크에 플러그인 확장으로 사용 가능한가?

주요 결과

• Refign은 열악한 조건에서의 세분화 성능을 위해 ACDC 벤치마크에서 65.6%의 최신 기준 mIoU를 달성한다.
• Dark Zurich 데이터셋에서 Refign은 56.2%의 mIoU를 기록하여 정상 조건에서 열악한 조건으로의 도메인 적응 분야에서 새로운 최고 성능을 수립한다.
• ACDC에서 기준 모델인 DAFormer은 1.0% 향상되고, DACS는 6.8% 향상되어 강력한 일반화 능력을 입증한다.
• 절단 실험 결과, 정렬과 적응형 개선이 모두 필수적임을 확인하였으며, 신뢰도 인식 혼합 전략은 단순 평균화 대비 1.8% mIoU 향상을 이룬다.
• UAWarpC는 MegaDepth, RobotCar, CMU 데이터셋에서 기하학적 매칭 분야에서 최신 기준 성능을 달성하였으며, 정확도와 불확실성 추정 모두 향상되었다.
• 정성적 결과에서는 Refign이 참조 이미지의 맥락을 활용하여 천정이 도로로 잘못 예측되는 등의 일반적인 오류를 효과적으로 수정함을 보여준다.