[논문 리뷰] Channel-wise Alignment for Adaptive Object Detection

Hang Yang, Shan Jiang외 5명|arXiv (Cornell University)|2020. 09. 07.

Advanced Neural Network Applications참고 문헌 39인용 수 4

한 줄 요약

이 논문은 도메인 분포의 변화에 대응하기 위해 채널 수준에서 특징 분포를 정렬하는 새로운 채널 기반 도메인 적응 프레임워크를 제안한다. 자기 및 상호 채널 기반 정렬 모듈과 RPN 도메인 분류기 도입으로, 다양한 도메인 이동 벤치마크에서 기존 방법 대비 5%의 mAP 향상을 달성하였으며, 개체 세분화 작업으로의 전이 성능도 뛰어나다.

ABSTRACT

Generic object detection has been immensely promoted by the development of deep convolutional neural networks in the past decade. However, in the domain shift circumstance, the changes in weather, illumination, etc., often cause domain gap, and thus performance drops substantially when detecting objects from one domain to another. Existing methods on this task usually draw attention on the high-level alignment based on the whole image or object of interest, which naturally, cannot fully utilize the fine-grained channel information. In this paper, we realize adaptation from a thoroughly different perspective, i.e., channel-wise alignment. Motivated by the finding that each channel focuses on a specific pattern (e.g., on special semantic regions, such as car), we aim to align the distribution of source and target domain on the channel level, which is finer for integration between discrepant domains. Our method mainly consists of self channel-wise and cross channel-wise alignment. These two parts explore the inner-relation and cross-relation of attention regions implicitly from the view of channels. Further more, we also propose a RPN domain classifier module to obtain a domain-invariant RPN network. Extensive experiments show that the proposed method performs notably better than existing methods with about 5% improvement under various domain-shift settings. Experiments on different task (e.g. instance segmentation) also demonstrate its good scalability.

연구 동기 및 목표

• 기상, 조명, 이미지 품질의 변화로 인한 객체 검출에서의 도메인 이동 문제 해결
• 기존의 고수준 특징 정렬 방법이 세밀한 채널 수준 패턴을 활용하지 못하는 한계 극복
• 객체 검출에서의 도메인 적응을 위한 채널 기반 특징 표현의 잠재력 탐색
• 검출을 넘어 개체 세분화 작업으로도 일반화 가능한 확장 가능한 프레임워크 개발
• 채널 수준의 분포 정렬이 이방향 검출에서 성능 향상에 기여함을 입증

제안 방법

• 각 채널을 별도의 분포로 간주하고 적대적 훈련을 적용하여 도메인 불변 특징을 학습하는 자기 채널 기반 정렬(Single Channel-wise Alignment, SCA) 모듈 제안
• 감쇠된 그램 행렬 손실을 사용하여 채널 간 상호정보를 모델링하고 특징 다양성을 향상시키는 상호 채널 기반 정렬(Cross Channel-wise Alignment, CCA) 모듈 도입
• 영역 제안을 정렬하고 영역-관심 영역 특징의 강건성을 향상시키기 위해 RPN 도메인 분류기(RPN Domain Classifier, RDC) 통합
• SCA, CCA, RDC를 통합한 유일한 프레임워크를 구성하여 채널 수준 및 제안 수준의 도메인 적응을 공동 최적화 가능하게 구현
• 백본으로 VGG-16를 사용하고, SCA를 여러 단계(conv1-5)에 적용하여 특징 깊이가 적응 성능에 미치는 영향 평가
• 고활성 채널 쌍의 영향을 감소시키기 위해 감쇠된 그램 행렬 손실을 활용하여 정보가 풍부하고 겹침이 적은 채널 간 상호작용 강조

실험 결과

연구 질문

• RQ1 이미지 또는 개체 수준의 정렬 대비, 채널 기반 특징 정렬이 객체 검출에서 더 나은 도메인 적응을 이끌 수 있는가?
• RQ2 자기 채널 기반 정렬과 상호 채널 기반 정렬 구성 요소가 성능 향상에 개별 및 통합적으로 기여하는 방식은 무엇인가?
• RQ3 제안된 감쇠된 그램 행렬 손실이 도메인 일반화 향상을 위해 채널 간 종속성을 효과적으로 포착하는가?
• RQ4 이 방법은 유사한 성능 향상을 보이며 개체 세분화로도 확장 가능한가?
• RQ5 SCA의 백본 단계별 배치가 최종 검출 정확도에 미치는 영향은 어떠한가?

주요 결과

• 제안된 방법은 도메인 이동 설정 3종(Cityscapes → Foggy-Cityscapes, SIM-10k → Cityscapes, KITTI → Cityscapes)에서 기준 방법 대비 평균 5%의 mAP 향상을 달성하였다.
• 자기 채널 기반 정렬(SCA) 모듈만으로도 소스 전용 기준 대비 mAP가 13.5% 향상되어 주요 기여 요소로 확인되었다.
• 상호 채널 기반 정렬(CCA) 모듈은 소스 전용 대비 0.6% 향상되었고, RPN 도메인 분류기(RDC)는 2.7% 향상되었다.
• SCA와 CCA를 조합했을 때 mAP가 39.3%로 나타나 RDC와의 조합보다 높게 나타나, 두 모듈 간 상호 보완성 확인
• SCA, CCA, RDC를 모두 포함한 전체 모델이 가장 높은 mAP 기록하여, 다수준 정렬의 상호보완적 이점 입증
• 개체 세분화 작업에서는 소스 전용 대비 바운딩 박스 기준 3.8% 향상, 마스크 기준 12.1% 향상되었으며, SOTA 방법인 SCDA를 초월하는 성능 확보