[논문 리뷰] Exploring Categorical Regularization for Domain Adaptive Object Detection

Chang-Dong Xu, Xing-Ran Zhao외 2명|arXiv (Cornell University)|2020. 03. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 28

한 줄 요약

이 논문은 도메인 적응 객체 검출을 향상시키기 위해 이미지 수준의 다중 레이블 분류와 인스턴스 수준의 예측 일致성을 활용하는 범주형 정규화 프레임워크를 제안한다. 이는 핵심 영역과 어려운 정렬을 요구하는 인스턴스에 집중한다. DA Faster R-CNN에 플러그인 방식으로 적용되었으며, 기상, 환경, 스타일 적응과 같은 다양한 도메인 이동 시나리오에서 최신 기술 수준의 성능을 달성했으며, 기준 모델 대비 mAP 향상 최대 2.0%를 기록했다.

ABSTRACT

In this paper, we tackle the domain adaptive object detection problem, where the main challenge lies in significant domain gaps between source and target domains. Previous work seeks to plainly align image-level and instance-level shifts to eventually minimize the domain discrepancy. However, they still overlook to match crucial image regions and important instances across domains, which will strongly affect domain shift mitigation. In this work, we propose a simple but effective categorical regularization framework for alleviating this issue. It can be applied as a plug-and-play component on a series of Domain Adaptive Faster R-CNN methods which are prominent for dealing with domain adaptive detection. Specifically, by integrating an image-level multi-label classifier upon the detection backbone, we can obtain the sparse but crucial image regions corresponding to categorical information, thanks to the weakly localization ability of the classification manner. Meanwhile, at the instance level, we leverage the categorical consistency between image-level predictions (by the classifier) and instance-level predictions (by the detection head) as a regularization factor to automatically hunt for the hard aligned instances of target domains. Extensive experiments of various domain shift scenarios show that our method obtains a significant performance gain over original Domain Adaptive Faster R-CNN detectors. Furthermore, qualitative visualization and analyses can demonstrate the ability of our method for attending on the key regions/instances targeting on domain adaptation. Our code is open-source and available at \url{https://github.com/Megvii-Nanjing/CR-DA-DET}.

연구 동기 및 목표

• 비이tractable 배경이 아닌 핵심 이미지 영역과 중요한 인스턴스에 집중함으로써 객체 검출에서의 도메인 이동 문제를 해결하고자 한다.
• 이미지 수준의 분류를 통해 약한 국소화된 객체 개념을 활용하여 소스 도메인과 타겟 도메인 간 특징 정렬을 향상시키고자 한다.
• 이미지 수준과 인스턴스 수준의 예측 간 일치성을 통해 타겟 도메인 내에서 어려운 정렬을 요구하는 인스턴스를 자동으로 식별하고자 한다.
• 아키텍처의 대대적인 개선 없이 도메인 적응 Faster R-CNN 방법의 성능을 향상시키고자 하며, 플러그-앤플레이 통합을 가능하게 하고자 한다.
• 다양한 도메인 이동 시나리오에서 광범위한 실험과 시각화를 통해 범주형 정규화의 효과를 검증하고자 한다.

제안 방법

• 검출 백본에 이미지 수준의 다중 레이블 분류기를 부착하여 객체 수준의 개념을 학습하고, 약한 지도 학습 국소화를 통해 핵심 영역을 암묵적으로 국소화한다.
• 전체 객체 표현 간 정렬을 위해 이미지 수준의 범주형 정규화(ICR)를 적용하여 비이tractable 배경의 간섭을 줄인다.
• 이미지 수준 분류기 출력과 인스턴스 수준 검출 헤드 예측 간 일치성을 강제로 부여함으로써 인스턴스 수준의 일致성 정규화(CCR)를 적용하여 어려운 정렬 후보를 식별한다.
• RoIAlign을 사용해 인스턴스 수준 특징을 추출하고, 글로벌 평균 풀링을 통해 이미지 수준 특징을 추출하여 두 수준에서의 정렬을 동시에 최적화할 수 있도록 한다.
• 분류용 교차 엔트로피 손실과 예측 정렬을 위한 일치 손실을 함께 사용해 프레임워크를 엔드 투 엔드로 훈련시키며, DA Faster R-CNN 파이프라인에 원활하게 통합된다.
• 특징 공간 정렬의 정량적·정성적 분석을 위해 t-SNE와 지구 이동 거리(EMD)를 활용한다.

실험 결과

연구 질문

• RQ1 이미지 수준의 다중 레이블 분류는 도메인 적응 검출에서 핵심 객체 영역의 국소화를 향상시키는가?
• RQ2 이미지 수준과 인스턴스 수준의 예측 간 일치성을 강제로 적용하면, 도메인 간 어려운 정렬을 요구하는 인스턴스의 정렬이 향상되는가?
• RQ3 플러그-앤플레이 정규화 프레임워크는 다양한 도메인 이동 시나리오에서 기존 DA Faster R-CNN 방법의 성능을 크게 향상시키는가?
• RQ4 유사 도메인 및 비유사 도메인 적응 작업에서 제안된 방법이 mAP 및 특징 공간 정렬 측면에서 최신 기술 수준의 방법과 비교해 어떻게 성능을 내는가?
• RQ5 정규화 프레임워크가 배경 잡음이 아닌 객체 관련 특징에 집중함으로써 도메인 간 불일치를 얼마나 줄이는가?

주요 결과

• 제안된 방법은 PASCAL VOC에서 Clipart1k로의 비유사 도메인 적응 작업에서 기준 모델인 DA-Faster R-CNN 대비 2.0% mAP 향상을 기록했으며, SW-Faster 대비 1.5% 향상된 성능을 보였다.
• Foggy Cityscapes와 BDD100k 데이터셋에서, 제안 방법은 원래의 SW-Faster 기준보다 뚜렷한 성능 향상을 보이며 기상 및 환경 적응 시나리오에서의 강건성을 입증했다.
• t-SNE를 활용한 특징 시각화 결과, 서로 다른 도메인에서 같은 카테고리에 속하는 비유사 인스턴스들 간의 정렬이 향상되었으며, 특히 가장 낮은 일치도를 보이는 쌍들에 대해서도 개선이 이루어졌다.
• 지구 이동 거리(EMD) 측정치는 SW-Faster의 8.84에서 SW-Faster-ICR-CCR로 8.15로 감소하여 특징 공간 내 도메인 불일치가 감소했음을 확인했다.
• 정성적 결과 분석을 통해, 소스 도메인과 타겟 도메인 양쪽 모두에서 주요 객체에 대한 활성화가 더 정확하게 이루어지고 핵심 영역에 대한 주의가 향상됨을 확인했다.
• 아키텍처 변경 없이도 공개 벤치마크에서 최신 기술 수준의 성능을 달성하여, 플러그-앤플레이 구성 요소로서의 효과성을 입증했다.