[논문 리뷰] Every Pixel Matters: Center-aware Feature Alignment for Domain Adaptive Object Detector

Cheng-Chun Hsu, Yi‐Hsuan Tsai외 2명|arXiv (Cornell University)|2020. 08. 19.

Advanced Image and Video Retrieval Techniques참고 문헌 40인용 수 14

한 줄 요약

이 논문은 도메인 적응 객체 검출을 위해 중심 인식 특징 정렬을 제안하며, 각 픽셀의 객체성과 중심성 예측을 통해 배경 노이즈를 줄이고 전경 픽셀에서의 정렬을 향상시키기 위해 애드버서리 특징 정렬을 이끌어낸다. 이는 분류 능력이 뛰어난 객체 영역에 집중한다. 다양한 도메인 적응 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

A domain adaptive object detector aims to adapt itself to unseen domains that may contain variations of object appearance, viewpoints or backgrounds. Most existing methods adopt feature alignment either on the image level or instance level. However, image-level alignment on global features may tangle foreground/background pixels at the same time, while instance-level alignment using proposals may suffer from the background noise. Different from existing solutions, we propose a domain adaptation framework that accounts for each pixel via predicting pixel-wise objectness and centerness. Specifically, the proposed method carries out center-aware alignment by paying more attention to foreground pixels, hence achieving better adaptation across domains. We demonstrate our method on numerous adaptation settings with extensive experimental results and show favorable performance against existing state-of-the-art algorithms.

연구 동기 및 목표

• 이미지 수준 및 인스턴스 수준의 특징 정렬이 배경 노이즈와 도메인 간 격차에 민감한 점을 해결한다.
• 높은 객체성과 중심성 점수를 가진 전경 픽셀에 정렬을 집중시켜 배경 픽셀로 인한 혼동을 줄인다.
• 다양한 도메인 간 특징 분포 정렬을 향상시키기 위해 픽셀 수준의 가이던스 메커니즘을 개발한다. 특히 큰 도메인 이동 상황에서도 유의미하다.
• 다양한 크기의 객체를 다룰 수 있도록 다중 해상도 정렬을 구현하여, 타겟 도메인 내 다양한 객체 크기에서의 강건성을 향상시킨다.

제안 방법

• 전체 이미지에 걸쳐 픽셀 단위의 객체성 및 중심성 맵을 예측하는 완전 컨volution 네트워크를 도입하여, 정렬 과정에서 각 픽셀에 대한 주의를 가능하게 한다.
• 예측된 객체성 및 중심성 맵을 마스크로 사용하여, 고신뢰도 전경 영역에만 집중하는 애드버서리 특징 정렬을 이끌어낸다.
• 애드버서리 훈련을 통해 중심 인식 특징 정렬을 구현하며, 판별기는 중심 인식 영역 내에서만 소스 및 타겟 특징를 구분하도록 훈련된다.
• 다중 해상도 정렬 기법을 설계하여, F3부터 F7까지의 다양한 특징 피라미드 수준에서 중심 인식 정렬을 적용함으로써 소형, 중형, 대형 객체를 효과적으로 처리한다.
• 전역 정렬(GA)과 중심 인식 정렬(CA)을 조합하여 전역 분포 매칭과 국소적, 분류 능력이 뛰어난 특징 학습을 동시에 활용한다.
• 두 단계 훈련 프로세스를 통해 디테크터를 엔드 투 엔드로 훈련한다: 첫 번째 단계에서 객체성 및 중심성 맵을 예측하고, 두 번째 단계에서 마스킹된 특징에 대해 애드버서리 정렬을 수행한다.

실험 결과

연구 질문

• RQ1 픽셀 단위의 객체성 및 중심성 예측이 분류 능력이 뛰어난 객체 영역에 정렬을 집중시켜 도메인 적응 객체 검출의 성능을 향상시킬 수 있는가?
• RQ2 배경 간섭을 줄이는 데 있어 중심 인식 특징 정렬이 이미지 수준 및 인스턴스 수준 정렬보다 어떻게 더 우수한가?
• RQ3 다중 해상도 중심 인식 정렬이 도메인 적응 환경에서 크기가 다른 객체의 성능 향상에 얼마나 기여하는가?
• RQ4 큰 도메인 이동 상황에서 전역 정렬에 비해 중심 인식 정렬의 기여도는 어느 정도인가?

주요 결과

• 제안된 중심 인식 특징 정렬은 세 가지 벤치마크 도메인 적응 설정에서 최신 기술 수준의 mAP를 달성하였다: Cityscapes→Foggy Cityscapes, Sim10k→Cityscapes, KITTI→Cityscapes.
• Sim10k→Cityscapes 벤치마크에서, ResNet-101을 사용한 전체 모델은 전역 정렬 전용 기준보다 mAP^{r}_{0.75}를 2.2% 향상시키고, mAP^{r}_{S}를 1.4% 향상시키며, mAP^{r}_{M}을 3.9% 향상시켰다.
• 제거 분석 결과, F3부터 F7까지의 다중 해상도 정렬이 가장 높은 성능을 보였으며, 단일 해상도 F5 대비 mAP^{r}_{L}은 5.8% 향상되었고, F5–F7 대비 mAP^{r}_{S}는 2.0% 향상되었다.
• 정성적 시각화 결과, 중심 인식 정렬이 다양한 특징 수준에서 객체 중심 정렬을 크게 향상시키고 배경 노이즈를 줄이는 데 기여함을 확인하였다.
• 특히 높은 IoU 임계치(예: mAP^{r}_{0.75})와 소형 객체에 대해 기존 최신 기술 수준의 방법들을 능가하는 성능을 보였다.
• 제거 분석 결과, 중심 인식 정렬이 특히 배경이 혼잡한 타겟 도메인에서 배경 혼동을 줄이는 데 가장 효과적임을 확인하였다.