[논문 리뷰] SCL: Towards Accurate Domain Adaptive Object Detection via Gradient Detach Based Stacked Complementary Losses

Zhiqiang Shen, Harsh Maheshwari외 2명|arXiv (Cornell University)|2019. 11. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 84

한 줄 요약

SCL은 unsupervised 도메인 적응 객체 검출을 위한 그래디언트 분리 기반의 스택형 보완 손실을 도입하여 다중 도메인 변화 벤치마크에서 다중 객체 감독을 결합한 그래디언트-분리 맥락 가지를 통해 최첨단 성능을 달성한다.

ABSTRACT

Unsupervised domain adaptive object detection aims to learn a robust detector in the domain shift circumstance, where the training (source) domain is label-rich with bounding box annotations, while the testing (target) domain is label-agnostic and the feature distributions between training and testing domains are dissimilar or even totally different. In this paper, we propose a gradient detach based stacked complementary losses (SCL) method that uses detection losses as the primary objective, and cuts in several auxiliary losses in different network stages accompanying with gradient detach training to learn more discriminative representations. We argue that the prior methods mainly leverage more loss functions for training but ignore the interaction of different losses and also the compatible training strategy (gradient detach updating in our work). Thus, our proposed method is a more syncretic adaptation learning process. We conduct comprehensive experiments on seven datasets, the results demonstrate that our method performs favorably better than the state-of-the-art methods by a significant margin. For instance, from Cityscapes to FoggyCityscapes, we achieve 37.9% mAP, outperforming the previous art Strong-Weak by 3.6%.

연구 동기 및 목표

• 소스-대상 도메인 간의 큰 시나리오 차이에서 객체 탐지를 위한 unsupervised 도메인 적응을 다룬다.
• 탐지와 다수의 보조적 보완 손실을 공동 최적화하는 융합 학습 프레임워크를 개발한다.
• 그래디언트 분리 학습 전략을 도입하여 주 탐지 경로와 붕괴하지 않으면서 discriminative한 맥락 표현을 학습한다.
• 다양한 벤치마크에서 교차 도메인 탐지 성능의 향상을 입증한다.
• 도메인 적응 탐지에서 보완 손실과 학습 전략의 선택을 위한 제거 및 가이드라인을 제공한다.

제안 방법

• 주 탐지 손실과 함께 서로 다른 네트워크 계층에 보조 손실을 추가하는 다중 보완 목적 학습 프레임워크를 정의한다.
• 깊은 감독을 통해 소스와 타깃 특징을 여러 깊이에서 정렬하기 위해 그래디언트 반전을 갖는 도메인 분류기를 사용한다.
• RoI 수준의 인스턴스 특징을 맥락 하위 네트워크의 맥락 벡터와 융합하는 인스턴스-맥락 정렬 손실을 도입한다.
• 메인 탐지 경로와는 구별되면서도 보완적으로 남아 그래디언트 간섭을 방지하기 위해 맥락 표현을 분리 업데이트하는 그래디언트 detach 전략을 적용한다.
• 최적화는 결합 목적 L_det(탐지)와 L_SCL(보완 손실)을 최소-최대 형식으로 조합하고 λ를 통해 트레이드-오프를 설정한다.
• 도메인 적응 학습을 강화하기 위해 그래디언트 detach 역전 패스(Algorithm 1)를 통합한다.
• RPN이 포함된 Faster R-CNN을 활용하고 다중 수준의 판별적 맥락-감지 보조 감독(L_ILoss)과 GRL 기반 적대적 정렬을 추가한다.

실험 결과

연구 질문

• RQ1 그래디언트 detach와 스택형 보완 손실이 기존의 단일 손실 정렬 방법을 넘어서는 unsupervised 도메인 적응 객체 검출의 성능 향상을 가져올 수 있는가?
• RQ2 다른 네트워크 계층에서 여러 보완 손실을 적용하는 것이 교차 도메인 특징 학습과 탐지 성능에 어떤 영향을 미치는가?
• RQ3 맥락 인지적이며 그래디언트-분리 보조 지점이 도메인 변경하에서 객체 위치화 및 인식에 어떤 영향을 미치는가?
• RQ4 탐지 작업에서 도메인 적응을 위한 보완 손실의 선정 및 네트워크 내 배치를 위한 실용적 가이드라인은 무엇인가?

주요 결과

• SCL은 Cityscapes에서 FoggyCityscapes로의 도메인 전이 등 여러 벤치마크에서 최첨단 baselines보다 높은 mAP를 달성하며 예를 들어 37.9% mAP를 달성했고 Strong-Weak보다 3.6% 포인트 더 우수하다.
• Cityscapes에서 FoggyCityscapes로의 경우 맥락과 detach가 포함된 전체 모델이 37.9% mAP를 보여주며, 이전 방법을 능가하고 다양한 보조 손실과 함께 그래디언트 detach의 이점을 입증한다.
• 다수의 벤치마크(KITTI↔Cityscapes, Sim10K↔Cityscapes, PASCAL↔Clipart/Watercolor 등)에서 비적응형 기반선 및 경쟁적 기반선 대비 지속적으로 향상되며, 예를 들어 KITTI↔Cityscapes 적응에서 Car에 대한 AP가 하위-40에서 하위-50대 범위로 상승하며 DA 및 이전 구현을 능가한다.
• 그래디언트 detach 학습은 더 구별되는 맥락 표현을 만들어 내며, 히트맵 시각화에서 객체 영역 집중이 강화되고 detach가 없는 모델에 비해 배경 주의가 감소한다.
• 손실 유형을 신중하게 매칭하고 낮은 수준의 LS, 중간 수준의 CE, 높은 수준의 FL과 Detach를 적절한 깊이에 배치하면 최상의 성능이 나타난다는 종합적 차이가 있다(예: LS–CE–FL–FL with Context and Detach).
• 이 방법은 합성-실제(Sim10K to Cityscapes) 및 불일치 도메인 쌍(PASCAL to Clipart/Watercolor) 등 다양한 작업에서 강한 성능을 보이며 강건한 크로스-도메인 객체 탐지 능력을 시사한다.