[논문 리뷰] Bridging the Sim2Real gap with CARE: Supervised Detection Adaptation with Conditional Alignment and Reweighting

Viraj Prabhu, David Acuna외 6명|arXiv (Cornell University)|2023. 02. 09.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 표본화된 실세계 데이터를 활용하여 외관 및 콘텐츠 분포를 동시에 보정함으로써 시뮬레이션에서 실세계로의 전이(sim2real) 갭을 해소하는 새로운 지도형 도메인 적응 프레임워크 CARE를 제안한다. 인스턴스 특징의 조건부 보정과 공간, 크기, 클래스 분포 기반의 샘플 재가중 처리를 통해 CARE는 상태기반 성능을 달성하며, Synscapes→Cityscapes 설정에서 mAP@50를 최대 25% 향상시킨다.

ABSTRACT

Sim2Real domain adaptation (DA) research focuses on the constrained setting of adapting from a labeled synthetic source domain to an unlabeled or sparsely labeled real target domain. However, for high-stakes applications (e.g. autonomous driving), it is common to have a modest amount of human-labeled real data in addition to plentiful auto-labeled source data (e.g. from a driving simulator). We study this setting of supervised sim2real DA applied to 2D object detection. We propose Domain Translation via Conditional Alignment and Reweighting (CARE) a novel algorithm that systematically exploits target labels to explicitly close the sim2real appearance and content gaps. We present an analytical justification of our algorithm and demonstrate strong gains over competing methods on standard benchmarks.

연구 동기 및 목표

• 기존 도메인 적응 방법에서 실세계 레이블 데이터가 존재함에도 불구하고 활용되지 않는 연구-실천 격차를 해소한다.
• 합성(레이블러닝) 및 실세계(레이블러닝) 데이터가 모두 이용 가능한 2D 객체 검출을 위한 지도형 시뮬레이션-실세계 적응 설정을 정의한다.
• 외관(시각적) 및 콘텐츠(레이블 분포) 격차를 명시적으로 모델링하고 보정하여 시뮬레이션-실세계 도메인 갭을 체계적으로 해소한다.
• 이 레이블 유리한 환경에서 단순한 데이터 혼합, 순차적 미세조정, 비지도/준지도 기반 베이스라인을 능가하는 방법을 개발한다.

제안 방법

• 소스 도메인과 타겟 도메인 손실을 통합하고 중간 인스턴스 표현의 조건부 보정을 통한 공동 리스크 최소화 프레임워크를 제안한다.
• 실세계 타겟 레이블을 활용하여 시뮬레이션과 실세계 데이터 간의 시각적 및 인스턴스 수준의 분포 이탈을 줄이기 위해 조건부 보정을 적용한다.
• 추정된 조건부 분포 기반으로 샘플 중요도를 조정하는 재가중 메커니즘을 도입한다: $P(x,y|C)$, $P(w,h|C)$, 및 $P(C)$.
• 경계상자 재가중을 공간($P(x,y|C)$)과 크기($P(w,h|C)$) 성분으로 분해하여 타겟 통계에 더 잘 맞춘다.
• 특징 공간에서 사이클 일관성을 강제하여 도메인 간 인스턴스 매칭을 향상시키고, 보정된 표현을 확보한다.
• 기존 검출 모델 및 도메인 적응 기반 기법과 통합 가능한 모듈러한 설계를 사용한다.

Figure 1 : Traditional Sim2Real domain adaptation assumes access to very few or no target labels, which is unrealistic in high-stakes applications like self-driving. We study the practical setting of supervised Sim2Real domain adaptation applied to 2D object detection, wherein the goal is to maximiz

실험 결과

연구 질문

• RQ1 단순한 데이터 혼합이나 미세조정을 넘어서 레이블이 부여된 실세계 데이터를 체계적으로 활용해 시뮬레이션-실세계 갭을 어떻게 해소할 수 있는가?
• RQ2 조건부 보정과 콘텐츠 분포 재가중 처리가 비지도 또는 소수의 샘플을 기반으로 한 도메인 적응 방법에 비해 일반화 성능을 얼마나 향상시키는가?
• RQ3 외관 보정과 콘텐츠 분포 재가중 처리 중 어느 것이 도메인 이격을 줄이는 데 더 큰 기여를 하는가?
• RQ4 외관과 콘텐츠 격차를 동시에 모델링하는 통합 프레임워크가 소스 및 타겟 데이터의 수동 조합보다 성능이 뛰어나게 작용할 수 있는가?
• RQ5 희귀 객체 카테고리가 많은 장꼬리(롱테일) 시나리오에서, 제안된 방법은 다양한 도메인 이격 상황에서도 어떤 성능을 보이는가?

주요 결과

• Sim10K→Cityscapes 벤치마크에서 CARE는 mAP@50가 68.1을 기록하며, 다음으로 우수한 방법(순차적 미세조정, Seq. FT)보다 1.7점, 혼합 기반 베이스라인보다 3.3점 높게 성과를 냈다.
• Synscapes→Cityscapes 전이 상황에서 CARE는 베이스라인 대비 mAP@50를 최대 25% 향상시켜, 도전적인 장꼬리 시나리오에서 뚜렷한 성능 향상을 입증했다.
• 클래스 조건부 재가중 처리($P(C)$ 기반)는 특히 다중 클래스 소스 설정에서 성능 향상에 기여하며, 베이스라인 대비 1.5~2.5점의 mAP 향상을 달성했다.
• $P(w,h|C)$ 및 $P(x,y|C)$ 기반 재가중 처리는 모든 객체 카테고리에서 일관된 mAP 향상을 이끌었으며, 버스와 같은 큰 객체에서는 최대 +10 mAP 향상을 기록했다.
• TIDE를 활용한 세밀한 오류 분석 결과, CARE는 분류 오류, 위치 오류, 중복 검출 오류를 줄였으며, 복합 오류에 대해서도 강건성을 유지했다.
• 정성적 분석 결과, 사이클 일관성이 도메인 간 인스턴스 매칭을 향상시켜, 유사한 차량이 특징 공간에서 더 가까이 위치함을 확인했다.

Figure 2 : The domain gap between a simulated source and real target domain consists of an appearance and content gap. The appearance gap corresponds to pixel-level differences ( e.g. texture and lighting) and instance-level differences ( e.g. vehicle design). The content gap consists of differences