[논문 리뷰] Domain Adaptive Object Detection via Asymmetric Tri-way Faster-RCNN

Zhenwei He, Lei Zhang|arXiv (Cornell University)|2020. 07. 03.

Advanced Neural Network Applications참고 문헌 40인용 수 15

한 줄 요약

이 논문은 매개변수 공유 시amese 네트워크에서 소스 도메인의 붕괴 위험을 해결하기 위해 비대칭 삼중 경로 Faster R-CNN(이하 ATF)을 제안한다. 소스 레이블에 의해 감독되는 보조 네트워크를 도입하고 주 검출기와 이를 분리함으로써 ATF는 구조적 구분 능력을 향상시키며 소스 특징의 신뢰성을 유지한다. 이로 인해 Cityscapes에서 Foggy Cityscapes로의 이식을 포함한 여러 도메인 간 벤치마크에서 최신 기술 수준(mAP)을 달성한다.

ABSTRACT

Conventional object detection models inevitably encounter a performance drop as the domain disparity exists. Unsupervised domain adaptive object detection is proposed recently to reduce the disparity between domains, where the source domain is label-rich while the target domain is label-agnostic. The existing models follow a parameter shared siamese structure for adversarial domain alignment, which, however, easily leads to the collapse and out-of-control risk of the source domain and brings negative impact to feature adaption. The main reason is that the labeling unfairness (asymmetry) between source and target makes the parameter sharing mechanism unable to adapt. Therefore, in order to avoid the source domain collapse risk caused by parameter sharing, we propose an asymmetric tri-way Faster-RCNN (ATF) for domain adaptive object detection. Our ATF model has two distinct merits: 1) A ancillary net supervised by source label is deployed to learn ancillary target features and simultaneously preserve the discrimination of source domain, which enhances the structural discrimination (object classification vs. bounding box regression) of domain alignment. 2) The asymmetric structure consisting of a chief net and an independent ancillary net essentially overcomes the parameter sharing aroused source risk collapse. The adaption safety of the proposed ATF detector is guaranteed. Extensive experiments on a number of datasets, including Cityscapes, Foggy-cityscapes, KITTI, Sim10k, Pascal VOC, Clipart and Watercolor, demonstrate the SOTA performance of our method.

연구 동기 및 목표

• 매개변수 공유 시amese 네트워크를 사용한 비지도 도메인 적응 객체 검출에서 소스 도메인 붕괴 위험을 해결하기 위해.
• 라벨이 부여된 소스 도메인과 레이블이 없는 타겟 도메인 간 도메인 이동으로 인한 성능 저하를 완화하기 위해.
• 보조 학습 메커니즘을 통해 타겟 도메인에서의 특징 신뢰성과 구조적 구분 능력(분류 대비 회귀)을 향상시키기 위해.
• 타겟 애너테이션에 의존하지 않고도 더 안전하고 효과적인 도메인 적응을 달성하기 위해.

제안 방법

• 소스 및 타겟 브랜치 간 매개변수 공유를 피하기 위해 주 네트워크와 독립적인 보조 네트워크를 갖춘 비대칭 삼중 경로 네트워크 아키텍처를 도입한다.
• 소스 레이블을 사용해 보조 네트워크를 훈련시켜 도메인 정렬에서 구조적 구분 능력을 향상시키는 타겟 유사 특징을 학습한다.
• 보조 네트워크를 활용해 타겟 유사 특징을 생성함으로써 분류 및 바운딩 박스 회귀의 결정 경계를 개선한다.
• 도메인 간 격리 차이를 최소화하면서도 소스 특징 품질을 유지하기 위해 판별기 기반의 적대적 도메인 정렬을 적용한다.
• 감지, 도메인 정렬, 보조 감독을 조합한 가중 손실을 사용해 주 검출기와 보조 네트워크를 종합적으로 엔드 투 엔드로 최적화한다.
• 보조 네트워크의 기여도를 조절하기 위해 하이퍼파라미터 α를 도입하였으며, 최적 성능는 α=0.7에서 달성된다.

실험 결과

연구 질문

• RQ1 비대칭 네트워크 아키텍처는 매개변수 공유 시amese 도메인 적응 네트워크에서 소스 도메인 붕괴를 방지할 수 있는가?
• RQ2 보조 네트워크를 통해 타겟 도메인에 대한 보조 감독이 특징의 구분 능력과 검출 성능에 어떻게 기여하는가?
• RQ3 제안된 방법이 타겟 도메인에서의 구조적 구분 능력(분류 대비 회귀)을 어느 정도 유지하는가?
• RQ4 타겟 애너테이션이 없을 경우 학습된 특징의 신뢰성이 떨어지며, 이는 보조 학습을 통해 보완될 수 있는가?
• RQ5 다양한 도메인 이동 시나리오에서 기존 최신 기술 수준(SOTA) 방법과 비교해 제안된 방법은 mAP 및 내성에 대해 어떻게 성능을 내는가?

주요 결과

• Cityscapes에서 Foggy Cityscapes로의 이식에서 ATF 모델은 mAP 38.7%를 기록하여 DAF 및 MAF를 초월한다.
• ATF의 RPN은 실제 바운딩 박스에서 57.1%의 리콜을 기록하여 비교된 모든 모델 중에서 가장 높은 영역 제안 품질을 보여준다.
• 보조 네트워크는 잘라낸 실제 바운딩 박스 샘플에 대한 분류기 정확도를 크게 향상시켜 RPN 리콜이 열악할 경우의 잘못된 분류를 줄인다.
• 훈련 전반에 걸쳐 ATF는 매개변수 공유 MAF보다 소스 도메인(Cityscapes)에서 더 높은 mAP를 유지하며, 이는 소스 위험 감소와 더 높은 안정성을 증명한다.
• 감도 분석 결과 최적 성능는 α=0.7에서 달성되며, α=1.3일 경우 mAP가 38.0%로 떨어져 하이퍼파라미터 튜닝의 중요성을 확인한다.
• Foggy Cityscapes에서의 정성적 결과는 ATF가 DAF 및 MAF보다 더 정확하고 일관된 검출 결과를 도출하며, 특히 도전적인 기상 조건에서 뛰어난 성능을 보여준다.