[논문 리뷰] Domain Generalisation for Object Detection under Covariate and Concept Shift

Karthik Seemakurthy, Erchan Aptoula외 2명|arXiv (Cornell University)|2022. 03. 10.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 객체 검출을 위한 도메인 일반화 방법을 제안하며, 바운딩 박스 검출과 도메인 분류를 위한 도메인 불변 특징을 학습하기 위해 일관성 정규화 손실을 도입한다. GWHD, Cityscapes, BDD100K, Sim10K 네 가지 데이터셋에서 평가된 결과, 타겟 도메인 데이터가 필요 없이 기존의 베이스라인보다 뛰어난 일반화 성능을 보이며, 특히 개념 이동과 공변량 이동 상황에서 뛰어난 성능을 발휘한다.

ABSTRACT

Domain generalisation aims to promote the learning of domain-invariant features while suppressing domain-specific features, so that a model can generalise better to previously unseen target domains. An approach to domain generalisation for object detection is proposed, the first such approach applicable to any object detection architecture. Based on a rigorous mathematical analysis, we extend approaches based on feature alignment with a novel component for performing class conditional alignment at the instance level, in addition to aligning the marginal feature distributions across domains at the image level. This allows us to fully address both components of domain shift, i.e. covariate and concept shift, and learn a domain agnostic feature representation. We perform extensive evaluation with both one-stage (FCOS, YOLO) and two-stage (FRCNN) detectors, on a newly proposed benchmark comprising several different datasets for autonomous driving applications (Cityscapes, BDD10K, ACDC, IDD) as well as the GWHD dataset for precision agriculture, and show consistent improvements to the generalisation and localisation performance over baselines and state-of-the-art.

연구 동기 및 목표

• 조건부 분포가 도메인 간에 다를 때, 공변량 이동과 개념 이동 모두에서 도메인 일반화를 다루기.
• 기존의 도메인 일반화 방법은 주로 분류 작업을 위해 설계되어 있으며, 객체 검출에 직접적으로 적용되지 않는 한계를 극복하기.
• 타겟 도메인 데이터에 의존하지 않고도 객체 검출과 도메인 불변성의 공동 최적화를 위한 통합 학습 프레임워크 개발하기.
• 이전에 볼 수 없었던 도메인으로도 잘 일반화되는 엔드 투 엔드 학습이 가능한 객체 검출기 개발하기, 특히 외관과 객체 의미 모두에 영향을 미치는 도메인 이동 상황에서도 성능 유지하기.
• 자율주행 및 농업 분야와 관련된 다양한 실제 세계 데이터셋에서 방법의 유효성 검증하여, 도전적인 시각적 변형 상황에서도 강건성을 입증하기.

제안 방법

• 동일한 입력 이미지에 대해 서로 다른 도메인에 관계없는 증강 기법을 적용했을 때도 예측이 일관되게 유지되도록 유도하는 새로운 일관성 정규화 항목 도입.
• 표준 검출 손실(예: 바운딩 박스 회귀 및 분류를 위한 손실)과 도메인 분류기 손실을 조합한 공동 학습 목표 함수 설정.
• 동일한 이미지에 대해 다양한 도메인 무관 증강을 적용한 예측 간의 일관성 정규화 적용을 통해 불변성 강화.
• 검출과 도메인 분류를 위한 별도의 헤드를 갖춘 공유 특징 추출기 사용으로, 도메인 불변 표현의 공동 최적화 가능하게 하기.
• 기본 객체 검출 아키텍처(예: Faster R-CNN)를 사용해 표준 방식으로 엔드 투 엔드 학습 수행하며, 정규화 항목 외에는 아키텍처 수정 없이 진행.
• 비독립 동일분포(Non-i.i.i.d.) 데이터 분포 상황에서도 일반화를 지원하는 새로운 바운딩 박스 손실 구성 요소 도입, 특히 조건부 분포가 도메인 간에 다를 경우에 유용.

실험 결과

연구 질문

• RQ1 일관성 정규화가 공변량 이동과 개념 이동 모두에서 도메인 일반화 성능 향상에 효과적으로 확장될 수 있는가?
• RQ2 다양한 도메인에서의 객체 검출 상황에서 기존의 도메인 일반화 베이스라인 대비 제안된 방법의 성능은 어떠한가?
• RQ3 학습 시 타겟 도메인 데이터가 제공되지 않을 경우, 모델이 새로운 타겟 도메인으로 얼마나 잘 일반화되는가?
• RQ4 차폐, 흐림, 악천후 등의 도전적인 조건에서 모델의 실패 유형은 무엇인가?
• RQ5 각 도메인의 이미지 수가 적거나 도메인이 매우 다양할 경우 성능 유지 여부는 어떻게 되는가?

주요 결과

• 제안된 방법은 GWHD, Cityscapes, BDD100K, Sim10K 등 평가된 모든 데이터셋에서 기존의 도메인 일반화 베이스라인 대비 일관되게 뛰어난 일반화 성능 확보.
• Cityscapes 데이터셋에서, 타겟 데이터가 제공되는 동일한 평가 환경에서도 표준 도메인 어댑테이션 베이스라인보다 성능이 뛰어나, 특히 타겟 데이터가 존재하는 상황에서도 효과적임을 입증.
• 안개, 비, 저조도와 같은 심각한 시각적 변형 상황에서도 학습 시 해당 도메인을 포함하지 않아도 높은 검출 정확도 유지.
• 유사한 객체(예: 자동차/버스/기차)의 잘못된 분류 및 가림되거나 흐릿한 객체의 누락 검출은 실패 케이스로 나타나, 미세한 차이와 가림 상황 처리에 한계 존재.
• 그림자 및 밝은 조명 조건으로 인해 밀수 헤드 검출에서 잘못된 양성 결과 발생, 이는 사전 처리 또는 아키텍처 제약 강화 필요함을 시사.
• 농업 분야의 단일 객체 검출(GWHD)과 자율주행 분야의 다중 객체 검출(Cityscapes) 모두에서 잘 일반화됨을 입증하여, 광범위한 적용 가능성 확인.