[논문 리뷰] Adaptive Object Detection with Dual Multi-Label Prediction

Zhao Zhen, Yuhong Guo외 2명|arXiv (Cornell University)|2020. 03. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 54인용 수 6

한 줄 요약

이 논문은 다중 레이블 예측을 이중 보조 작업으로 사용하여 특징 정렬과 검출 일致성을 향상시키는 새로운 비지도 도메인 적응 모델인 MCAR를 제안한다. 다중 레이블 예측에 기반한 조건부 적대적 특징 정렬을 활용하고 일관성 정규화 메커니즘을 도입함으로써, 여러 벤치마크 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하여 기존 방법보다 도메인 일반화 능력과 검출 정확도에서 뚜렷한 우월성을 보였다.

ABSTRACT

In this paper, we propose a novel end-to-end unsupervised deep domain adaptation model for adaptive object detection by exploiting multi-label object recognition as a dual auxiliary task. The model exploits multi-label prediction to reveal the object category information in each image and then uses the prediction results to perform conditional adversarial global feature alignment, such that the multi-modal structure of image features can be tackled to bridge the domain divergence at the global feature level while preserving the discriminability of the features. Moreover, we introduce a prediction consistency regularization mechanism to assist object detection, which uses the multi-label prediction results as an auxiliary regularization information to ensure consistent object category discoveries between the object recognition task and the object detection task. Experiments are conducted on a few benchmark datasets and the results show the proposed model outperforms the state-of-the-art comparison methods.

연구 동기 및 목표

• 학습 데이터와 테스트 데이터가 서로 다른 분포를 가진 도메인 스플릿 문제를 해결하기 위해, 특히 복잡한 시각적 변형이 존재하는 다강인 객체 검출 환경에서의 도메인 이동 문제를 다루는 것.
• 이미지 내 전반적인 객체 카테고리 정보를 드러내기 위해 다중 레이블 인식을 이중 보조 작업으로 활용하여 도메인 일반화 능력을 향상시키는 것.
• 다중 레이블 예측 결과를 조건 신호로 사용하여 조건부 적대적 특징 정렬을 통해 특징의 구분 능력과 도메인 불변성을 향상시키는 것.
• 검출 헤드(영역 제안에 기반)와 다중 레이블 헤드(전반적 특징에 기반) 간의 예측 일관성을 확보하기 위해 일관성 정규화 메커니즘을 도입하는 것.
• 라벨이 없는 타겟 도메인 데이터를 요구하지 않는 비지도 교차 도메인 객체 검출에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 객체 검출과 다중 레이블 이미지 분류를 동시에 최적화하는 이중 작업 학습 프레임워크를 도입하여 엔드 투 엔드로 학습한다.
• 다중 레이블 예측을 보조 작업으로 사용하여 이미지에서 전반적인 카테고리 정보를 추출하고, 이를 도메인 적응 과정의 조건으로 활용한다.
• 전반적 이미지 특징과 다중 레이블 예측 출력을 모두 도메인 구분자에 입력하여 조건부 적대적 도메인 정렬을 수행함으로써, 더 구분력 있고 도메인 불변적인 특징 학습이 가능해진다.
• 검출 헤드의 예측(영역 제안에 기반)과 다중 레이블 헤드의 예측(전반적 특징에 기반) 간의 일관성을 확보하기 위해 일관성 정규화 손실을 도입한다.
• 총 학습 목표는 검출 손실, 다중 레이블 분류 손실, 적대적 도메인 정렬 손실, 일관성 정규화 손실을 조합한 것으로, 하이퍼파라미터를 통해 상호 간의 트레이드오프를 제어한다.
• 특징 시각화와 t-SNE 분석을 통해 도메인 정렬의 품질 및 도메인 불변 표현 학습 능력을 평가한다.

실험 결과

연구 질문

• RQ1 다중 레이블 예측을 보조 작업으로 사용함으로써 전반적인 카테고리 정보를 드러내어 다강인 객체 검출에서 도메인 적응 성능을 향상시킬 수 있는가?
• RQ2 다중 레이블 예측에 기반한 조건부 적대적 특징 정렬은 더 나은 도메인 불변성과 구분 능력을 가진 특징 표현을 도출하는가?
• RQ3 검출 헤드와 다중 레이블 인식 헤드 간의 일관성 정규화는 도메인 이동 상황에서 검출 정확도 향상에 기여하는가?
• RQ4 제안된 방법은 비지도 도메인 적응 기법의 최신 기술 수준 방법들과 비교해 어떤가?
• RQ5 예를 들어 적대적 손실의 가중치와 하드 샘플 집중도와 같은 핵심 하이퍼파라미터가 모델 성능에 어떤 영향을 미치는가?

주요 결과

• PASCAL VOC에서 Watercolor로의 도메인 적응 작업에서, 제안된 모델은 평균 정밀도(mAP) 54.4%를 기록하여 다음으로 우수한 방법보다 5퍼센트 이상 높은 성능을 보였다.
• Cityscapes에서 Foggy Cityscapes로의 도메인 적응 작업에서, 기준 방법들이 실패한 안개 낀 환경에서 멀리 떨어지고 흐릿한 차량까지도 성공적으로 검출하여, 시각적 열화에 대한 강건성을 입증했다.
• t-SNE를 활용한 특징 시각화 결과, 제안된 모델이 도메인 이동을 효과적으로 줄였으며, 소스 전용 기준 모델 대비 소스 및 타겟 도메인의 특징이 더 구분되지 않게 되었다.
• 하이퍼파라미터 분석 결과, λ = 0.5와 γ = 5에서 최적의 성능을 기록하여, 중간 정도의 적대적 정렬과 균형 잡힌 하드 샘플 집중이 성공에 핵심적임을 시사했다.
• 제거 실험(ablation study) 결과, 조건부 적대적 정렬과 일관성 정규화 구성 요소가 성능 향상에 크게 기여하며, 둘 중 하나를 제거할 경우 mAP가 크게 하락함을 확인했다.
• 정성적 결과 분석에서, DA-Faster와 SW-DA 대비 false positive와 누락 검출(특히 작은 또는 먼 객체에서 발생)을 줄이는 데 성공했다.