[논문 리뷰] Collaborative Training between Region Proposal Localization and Classification for Domain Adaptive Object Detection

Ganlong Zhao, Guanbin Li외 2명|arXiv (Cornell University)|2020. 09. 17.

Advanced Neural Network Applications참고 문헌 32인용 수 5

한 줄 요약

이 논문은 대규모 도메인 이탈 상황에서 두 단계 객체 검출기에서 영역 제안 네트워크(RPN)와 영역 제안 분류기(RPC) 간의 협업형 자기학습 방법을 제안하여 도메인 적응 성능을 향상시킨다. 한 모듈의 고신뢰도 제안을 다른 모듈의 지도로 활용하고, 저신뢰도 샘플을 이질성 기반 최소화 최대화 최적화에 사용함으로써, 기존 최고 성능(SOTA)을 달성하며 Sim10k-to-Cityscapes에서 AP를 9.94% 향상시킨다.

ABSTRACT

Object detectors are usually trained with large amount of labeled data, which is expensive and labor-intensive. Pre-trained detectors applied to unlabeled dataset always suffer from the difference of dataset distribution, also called domain shift. Domain adaptation for object detection tries to adapt the detector from labeled datasets to unlabeled ones for better performance. In this paper, we are the first to reveal that the region proposal network (RPN) and region proposal classifier~(RPC) in the endemic two-stage detectors (e.g., Faster RCNN) demonstrate significantly different transferability when facing large domain gap. The region classifier shows preferable performance but is limited without RPN's high-quality proposals while simple alignment in the backbone network is not effective enough for RPN adaptation. We delve into the consistency and the difference of RPN and RPC, treat them individually and leverage high-confidence output of one as mutual guidance to train the other. Moreover, the samples with low-confidence are used for discrepancy calculation between RPN and RPC and minimax optimization. Extensive experimental results on various scenarios have demonstrated the effectiveness of our proposed method in both domain-adaptive region proposal generation and object detection. Code is available at https://github.com/GanlongZhao/CST_DA_detection.

연구 동기 및 목표

• 원본 도메인과 타겟 도메인 간의 도메인 이탈로 인한 도메인 적응 객체 검출 성능 저하 문제를 해결하기 위해.
• Faster R-CNN과 같은 두 단계 검출기에서 대규모 도메인 갭 상황에서 RPN과 RPC 모듈의 이질적 전이 능력의 차이를 조사하기 위해.
• 고신뢰도 예측을 상호 지도로 사용하여 RPN과 RPC를 공동으로 훈련시켜 검출 성능을 향상시키기 위해.
• 최대화된 이질성 분류기를 통해 저신뢰도 제안을 활용하여 적대적 도메인 정렬을 위한 최대화된 이질성 최적화를 통해 모델 일반화 능력을 향상시키기 위해.
• 백본 전용 정렬이나 단순한 특징 정렬보다 우수한 성능을 내는 방법을 개발하기 위해.

제안 방법

• 한 모듈(RPN 또는 RPC)의 고신뢰도 영역 제안을 다른 모듈의 지도로 사용하는 협업형 자기학습(CST)을 도입하며, 각 모듈을 상대 모듈의 출력에 대한 분류기로 간주한다.
• RPN이 생성한 제안 기반으로 도메인 이질성이 더 높은 영역의 특징을 적응적으로 강조하는 가중치가 부여된 局소 도메인 정렬 손실을 적용한다.
• 저신뢰도 제안에 집중하여 도메인 이질성을 증가시키고, 최소화 최대화 최적화를 통해 강건성을 향상시키는 최대화된 이질성 분류기(MCD)를 설계한다.
• CST, 가중치가 부여된 국소 정렬, MCD를 상호 보완적인 구성 요소로 통합하여 함께 훈련시켜 전체 검출 성능을 향상시킨다.
• 두 단계 검출기 프레임워크(Faster R-CNN 등)를 사용하며, RPN을 굵은 톤의 전경/배경 분류기로, RPC를 세밀한 제안 분류기로 간주하여 모듈 간 지식 전이를 가능하게 한다.
• RPN과 RPC 간 직접적인 기울기 흐름이 없기 때문에, RPC의 기울기를 이용해 RPN을 개선하고 반대로 RPN의 기울기를 이용해 RPC를 개선하는 이중 브랜치 훈련 전략을 구현한다.

실험 결과

연구 질문

• RQ1 대규모 도메인 이탈 상황에서 두 단계 객체 검출기에서 RPN과 RPC의 전이 특성은 어떻게 다를까?
• RQ2 한 모듈(RPN 또는 RPC)의 고신뢰도 제안이 다른 모듈의 훈련을 효과적으로 이끌 수 있는가?
• RQ3 이질성 기반 분류기를 통해 저신뢰도 제안을 통합하면 모델 일반화 능력과 도메인 강건성이 향상되는가?
• RQ4 RPN과 RPC 간의 협업 훈련이 도메인 적응 객체 검출에서 백본 전용 정렬이나 단순한 특징 정렬을 능가할 수 있는가?
• RQ5 제안된 방법이 다양한 도메인 적응 시나리오에서 검출 정확도를 어느 정도 향상시키는가?

주요 결과

• 제안된 방법은 Sim10k-to-Cityscapes 벤치마크에서 평균 평균 정밀도(AP)를 34.57%(원본 전용)에서 44.51%로 9.94% 향상시켰다.
• 협업형 자기학습(CST)만으로도 AP가 7.76% 향상되어 RPN과 RPC 간 상호 지도의 효과를 입증했다.
• CST, 가중치가 부여된 국소 정렬, MCD의 조합이 가장 높은 성능을 기록했으며, CST 전용 대비 추가로 2.18% AP 향상이 있었다.
• RPN 가중치가 부여된 국소 정렬 방법은 불필요한 영역(예: 하늘, 도로)을 효과적으로 억제하며 도메인 정렬을 위한 객체 관련 특징에 집중한다.
• 이 방법은 '원본 전용'과 '단순 정렬' 기반선을 모두 초월하며, 후자는 단지 2.46%의 AP 향상에 그쳤다.
• 시각화 결과는 모델이 검출된 객체(예: 자동차)에 더 높은 주의 가중치를 부여하며 객체 관련 영역에 집중하는 것을 확인했다.