[논문 리뷰] Diversify and Match: A Domain Adaptive Representation Learning Paradigm for Object Detection

Taekyung Kim, Minki Jeong외 3명|arXiv (Cornell University)|2019. 05. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 44인용 수 32

한 줄 요약

이 논문은 비지도 객체 검출을 위한 새로운 도메인 적응 표현 학습 프레임워크인 Diversify and Match를 제안한다. 이는 원본 도메인에서 다수의 이격된 도메인을 생성함으로써 원본 도메인에 치우친 특성 구분 능력을 완화하는 도메인 다변화(DD)와, 다중 도메인 구분자로 모든 도메인 간 특성의 불변성을 강제하는 다중 도메인 불변 표현 학습(MRL)을 결합한다. 이 방법은 다양한 데이터셋에서 mAP 기준으로 기존 방법들보다 3%~12% 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We introduce a novel unsupervised domain adaptation approach for object detection. We aim to alleviate the imperfect translation problem of pixel-level adaptations, and the source-biased discriminativity problem of feature-level adaptations simultaneously. Our approach is composed of two stages, i.e., Domain Diversification (DD) and Multi-domain-invariant Representation Learning (MRL). At the DD stage, we diversify the distribution of the labeled data by generating various distinctive shifted domains from the source domain. At the MRL stage, we apply adversarial learning with a multi-domain discriminator to encourage feature to be indistinguishable among the domains. DD addresses the source-biased discriminativity, while MRL mitigates the imperfect image translation. We construct a structured domain adaptation framework for our learning paradigm and introduce a practical way of DD for implementation. Our method outperforms the state-of-the-art methods by a large margin of 3%~11% in terms of mean average precision (mAP) on various datasets.

연구 동기 및 목표

• 특성 수준의 도메인 적응에서 발생하는 원본 도메인에 치우친 구분 능력 문제를 해결하기 위해, 모델이 원본 도메인에 지나치게 특화되지 않도록 하기 위함.
• 픽셀 수준의 적응에서 발생하는 완벽하지 않은 이미지 변환 문제를 해결하기 위해, 도메인 변환기가 원본 도메인과 대상 도메인을 완전히 일치시키지 못하는 문제를 해결하기 위함.
• 대상 도메인의 애너테이션 없이도 제로샷 도메인 적응 환경에서 객체 검출기의 일반화 능력을 향상시키기 위함.
• 도메인 다변화와 다중 도메인 불변 표현 학습을 통합한 체계적이고 종단 간 프레임워크를 개발하기 위함.

제안 방법

• 도메인 다변화(DD)는 색상 유지 및 재구성 제약 조건을 갖춘 데이터 증강을 사용하여 원본 도메인에서 다수의 서로 다른 이격된 도메인을 생성한다.
• 각 이격된 도메인은 학습 중 별개의 도메인으로 간주되어 레이블이 부여된 원본 데이터의 분포가 풍부해진다.
• 다중 도메인 불변 표현 학습(MRL)은 다중 도메인 구분자를 사용하여 모든 원본 이격 도메인과 대상 도메인 간의 특성을 정렬한다.
• MRL 단계는 적대적 학습을 통해 모든 도메인 간 특성이 구분 불가능하도록 하여 도메인 불변 표현을 촉진한다.
• 이 프레임워크는 Faster R-CNN 기반 검출기에 통합되어 검출과 도메인 적응의 공동 최적화를 가능하게 한다.
• 실용적인 DD 구현 방식이 제안되며, 다양한 도메인을 생성하면서도 의미적으로 일관성을 유지하는 제약 조건이 부여된 데이터 증강을 사용한다.

실험 결과

연구 질문

• RQ1 특성 수준의 도메인 적응에서 도메인 다변화가 객체 검출에 있어 원본 도메인에 치우친 구분 능력을 효과적으로 감소시킬 수 있는가?
• RQ2 다중 도메인 불변 표현 학습이 픽셀 수준의 적응에서 발생하는 완벽하지 않은 이미지 변환 문제를 완화할 수 있는가?
• RQ3 도메인 다변화와 다중 도메인 불변 학습을 결합하면 미리 보지 못한 대상 도메인에서 더 뛰어난 일반화 성능을 달성할 수 있는가?
• RQ4 다양화된 도메인의 수가 도메인 적응에서 검출 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 다양한 데이터셋에서 기존 방법들보다 mAP 기준 3%~12% 향상된 최신 기술 수준의 성능을 달성한다.
• PASCAL VOC → Clipart1k 벤치마크에서 52.5%의 분류 정확도와 68.5%의 mIoU를 기록하여 베이스라인 및 DAF를 크게 능가한다.
• 절단 분석 결과, DD 이후 MRL을 추가하면 세 개의 이격 도메인을 사용할 경우 mAP가 8.0% 향상되며, 전체 파이프라인의 효과성을 입증한다.
• DD만으로도 기존 베이스라인 대비 배경 객체 오류를 15% 감소시키며, DD와 MRL을 결합하면 기존 베이스라인 대비 정확한 검출 수를 20% 향상시킨다.
• 실생활, 예술적 미디어, 도시 풍경 데이터셋 등 다양한 도메인에서 일관된 성능 향상을 보였다.
• 오류 분석 결과, 이 방법은 잘못된 국소화 및 배경 오류를 크게 감소시키며 동시에 정확한 검출 비율을 높임을 확인했다.