[논문 리뷰] Unsupervised Domain Adaptation of Object Detectors: A Survey

Poojan Oza, Vishwanath A. Sindagi외 2명|arXiv (Cornell University)|2021. 05. 27.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

이 종합 검토는 딥 객체 검출기의 비지도 도메인 적응(UDA) 기법에 대한 포괄적인 개요를 제공하며, 적응 전략에 따라 방법을 분류하고 그 강점과 한계를 분석한다. 도메인 분산 상황에서의 강력하고 실제 적용 가능한 객체 검출기 개발을 위한 향후 연구 방향을 제안하며, 주요 과제로는 부정적 전이, 오픈 세트 및 소스 프리 적응을 지목한다.

ABSTRACT

Recent advances in deep learning have led to the development of accurate and efficient models for various computer vision applications such as classification, segmentation, and detection. However, learning highly accurate models relies on the availability of large-scale annotated datasets. Due to this, model performance drops drastically when evaluated on label-scarce datasets having visually distinct images, termed as domain adaptation problem. There is a plethora of works to adapt classification and segmentation models to label-scarce target datasets through unsupervised domain adaptation. Considering that detection is a fundamental task in computer vision, many recent works have focused on developing novel domain adaptive detection techniques. Here, we describe in detail the domain adaptation problem for detection and present an extensive survey of the various methods. Furthermore, we highlight strategies proposed and the associated shortcomings. Subsequently, we identify multiple aspects of the problem that are most promising for future research. We believe that this survey shall be valuable to the pattern recognition experts working in the fields of computer vision, biometrics, medical imaging, and autonomous navigation by introducing them to the problem, and familiarizing them with the current status of the progress while providing promising directions for future research.

연구 동기 및 목표

• 비지도 도메인 적응 분야에서 최근의 접근 방식을 체계적으로 분류하고 분석하기 위해.
• 실제 적용 상황에서의 주요 과제인 부정적 전이, 도메인 분산, 레이블 공간 불일치 등을 식별하고 논의하기 위해.
• 소스 프리, 다중 소스, 연속적 테스트 시간 적응과 같은 아직 탐색이 부족한 연구 방향을 부각하기 위해.
• UDA를 통한 객체 검출에 대한 통합된 분류 체계와 성능 평가 프레임워크를 제공하기 위해.
• 연구자들이 적절한 방법을 선정하고, 강건하고 일반화 능력이 뛰어난 객체 검출기 개발을 위한 향후 연구를 유도하기 위해.

제안 방법

• 객체 검출을 위한 UDA 방법을 주로 특징 수준, 검출 헤드 수준, 인스턴스 수준의 적응 전략으로 세 가지 주요 범주로 분류한다.
• 대부분의 도메인 정합 전략인 적대적 훈련, 자기지도 대비 학습, 엔트로피 최소화 기법을 분석한다.
• 부정적 전이를 완화하기 위한 기법으로 클래스별 특징 정합 및 이상치 샘플 필터링을 검토한다.
• 소스 프리 도메인 적응을 위한 의사 레이블링 및 자기 훈련 프레임워크를 분석한다.
• 관련된 소스 부분 분포에만 선택적으로 정합하는 다중 소스 적응 전략을 고려한다.
• 도메인 분산 설정 하에서 Cityscapes, COCO, VOC와 같은 표준 데이터셋을 활용해 평가 프로토콜과 벤치마크를 제안한다.

실험 결과

연구 질문

• RQ1 비지도 도메인 적응을 위한 객체 검출에서 지배적인 방법론적 접근 방식은 무엇인가?
• RQ2 특징 수준, 헤드 수준, 인스턴스 수준의 다양한 적응 전략은 성능 및 내구성 측면에서 어떻게 비교되는가?
• RQ3 객체 검출의 도메인 적응에서 주요 과제로 나타나는 부정적 전이 및 레이블 공간 불일치는 무엇인가?
• RQ4 소스 프리, 오픈 세트, 연속적 테스트 시간 적응과 같은 현실적인 시나리오로 도메인 적응을 어떻게 확장할 수 있는가?
• RQ5 UDA 객체 검출기의 성능 평가에 가장 효과적인 평가 프로토콜과 데이터셋은 무엇인가?

주요 결과

• 특징 수준의 적응 방법, 특히 적대적 훈련과 대비 학습을 활용한 방법이 도메인 분산을 줄이는 데 강력한 성능을 보인다.
• 검출된 객체 기반으로 특징을 정합하는 인스턴스 수준의 적응 전략은 높은 시각적 다양성을 지닌 타겟 도메인에서 검출 정확도를 향상시킨다.
• 소스와 타겟의 레이블 공간이 완전히 일치하지 않을 경우, 특히 부분적 및 오픈 세트 도메인 적응 상황에서 부정적 전이 문제가 여전히 주요 과제로 남아 있다.
• 고품질의 의사 레이블링과 필터링을 활용하면 소스 프리 도메인 적응이 가능하지만, 신뢰성 확보가 여전히 과제로 남아 있다.
• 다중 소스 도메인 적응은 관련이 없는 소스 부분 분포에서 오는 부정적 전이를 방지하기 위해 선택적 정합이 필요하다.
• 실제 적용을 위해 연속적 및 테스트 시간 적응이 필수적이지만, 아직 탐색이 부족하며, 치명적 기억 상실과 계산 효율성 문제 등 도전 과제가 존재한다.