[논문 리뷰] Unsupervised Domain Adaption of Object Detectors: A Survey

Poojan Oza, Vishwanath A. Sindagi외 2명|arXiv (Cornell University)|2021. 05. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 179인용 수 11

한 줄 요약

이 종합 검토는 객체 검출기의 비지도 도메인 적응(UDA) 기법에 대한 포괄적인 개요를 제공하며, 풍부한 애너테이션이 있는 소스 도메인에서 훈련된 모델을 레이블이 제한적이거나 없는 타겟 도메인으로 적응시키는 방법을 분석한다. 방법을 분류하고, 특성 분포 이탈과 바운딩 박스 비일치성과 같은 핵심 과제를 밝히며, 검출에 특화된 도메인 적응 분야의 유망한 미래 연구 방향을 제시한다.

ABSTRACT

Recent advances in deep learning have led to the development of accurate and efficient models for various computer vision applications such as classification, segmentation, and detection. However, learning highly accurate models relies on the availability of large-scale annotated datasets. Due to this, model performance drops drastically when evaluated on label-scarce datasets having visually distinct images, termed as domain adaptation problem. There is a plethora of works to adapt classification and segmentation models to label-scarce target datasets through unsupervised domain adaptation. Considering that detection is a fundamental task in computer vision, many recent works have focused on developing novel domain adaptive detection techniques. Here, we describe in detail the domain adaptation problem for detection and present an extensive survey of the various methods. Furthermore, we highlight strategies proposed and the associated shortcomings. Subsequently, we identify multiple aspects of the problem that are most promising for future research. We believe that this survey shall be valuable to the pattern recognition experts working in the fields of computer vision, biometrics, medical imaging, and autonomous navigation by introducing them to the problem, and familiarizing them with the current status of the progress while providing promising directions for future research.

연구 동기 및 목표

• 컴퓨터 비전에서 객체 검출을 위해 특화된 기존 비지도 도메인 적응 방법을 체계적으로 검토하는 것.
• 시각적으로 다를 수 있는 도메인 간에 레이블이 제한된 환경에서 객체 검출기 적응을 위한 공통 전략과 한계를 파악하는 것.
• 예를 들어 인스턴스 수준의 정렬과 특성 정제와 같은, 도메인 적응 분야에서 아직 탐색되지 않은 요소들을 부각하는 것.
• 특성, 프포절, 분류 수준의 적응을 포함하여 도메인 이탈을 다루는 기법들에 대한 체계적인 분석을 제공하는 것.
• 미래 연구를 안내하기 위해 비지도 도메인 적응을 통한 객체 검출 분야에서 유망하지만 아직 탐색되지 않은 방향을 식별하는 것.

제안 방법

• 논문은 객체 검출을 위해 특화된 비지도 도메인 적응 방법에 대한 체계적 종합 검토를 수행하며, 적응 수준(특성 수준, 프포절 수준, 검출 헤드 수준)에 따라 기법을 그룹화한다.
• 소스 도메인과 타겟 도메인 간의 도메인 이탈을 줄이기 위해 적대적 훈련, 분포 정렬, 자기 훈련과 같은 도메인 정렬 전략을 분석한다.
• 비정의 타겟 데이터를 사용하여 편제 레이블링과 일致성 정규화를 통해 영역 프포절을 개선하고 검출 헤드 예측을 개선하는 방법을 평가한다.
• 도메인 불변 특성, 도메인 특화 정규화, 지식 정렬을 사용하여 타겟 도메인으로의 일반화 성능을 향상시키는 방법을 비교한다.
• 특성 분포 이탈 뿐 아니라 바운딩 박스 회귀와 클래스 무관 프포절 생성과 같은 객체 검출의 고유 과제를 다루는 기법들을 분석한다. 이는 분류나 세그멘테이션 UDA에 비해 덜 두드러진 문제이다.
• 특성 공간과 검출 공간 양쪽에서 도메인 이탈을 다룰 수 있는 방법들을 평가하며, 프포절과 진짜 바운딩 박스 간의 비일치성도 포함한다.

실험 결과

연구 질문

• RQ1 레이블이 제한적이거나 없는 도메인 간에 객체 검출기를 적응시키는 데 있어 주요 과제는 무엇인가?
• RQ2 검출에 사용되는 기존 비지도 도메인 적응 기법은 분류나 세그멘테이션에 사용되는 기법과 어떻게 다를까?
• RQ3 소스 도메인과 타겟 도메인 간에 특성 분포, 프포절, 검출 헤드를 정렬하기 위한 가장 효과적인 전략은 무엇인가?
• RQ4 현재 UDA 기법들이 객체 검출에서 겪는 주요 한계와 실패 유형은 무엇인가?
• RQ5 어느 분야의 도메인 적응이 아직 탐색되지 않았고, 향후 연구에 높은 잠재력을 지닌가?

주요 결과

• 이 종합 검토는 도메인 이탈이 분류나 세그멘테이션보다 더 복잡한 이유로, 특성과 바운딩 박스 예측을 동시에 정렬해야 하기 때문에 더 복잡하다고 밝힌다.
• 적대적 도메인 적응과 편제 레이블링을 사용한 자기 훈련은 가장 널리 사용되는 전략이지만, 타겟 도메인에서 프포절과 진짜 바운딩 박스 간의 비일치 문제를 해결하지 못하는 경우가 많다.
• 특성 수준의 정렬만으로는 충분하지 않으며, 프포절과 검출 헤드의 공동 적응이 성능 향상에 필수적이다.
• 많은 현재 기법들이 회귀 헤드에서의 도메인 이탈 문제를 해결하지 못해, 분류 정확도는 향상되더라도 국소화 정확도가 떨어지는 경우가 많다.
• 이 종합 검토는 일致성 정규화와 지식 정렬이 자원이 제한된 타겟 도메인에서의 강건성 향상에 있어 유망한 기법임을 강조한다.
• 미래 연구는 더 나은 영역 프포절 정렬, 향상된 편제 레이블링 전략, 검출과 도메인 정렬을 동시에 최적화하는 엔드 투 엔드 도메인 적응 프레임워크에 초점을 맞춰야 한다.