[논문 리뷰] Domain-Specific Suppression for Adaptive Object Detection

Yu Wang, Rui Zhang외 5명|arXiv (Cornell University)|2021. 05. 08.

Advanced Neural Network Applications참고 문헌 45인용 수 5

한 줄 요약

이 논문은 CNN 역전파에서 도메인 불변 및 도메인 특화 방향을 명시적으로 분리하는 새로운 기울기 제약인 도메인 특화 억제(Domain-Specific Suppression, DSS)를 제안한다. 이는 도메인 특화 노이즈를 타겟으로 억제함으로써 최적화를 도메인 불변 특징에 집중시켜, 객체 검출 분야의 다양한 비지도 도메인 적응(Understand Domain Adaptation, UDA) 환경에서 상태의 기준(SOTA) 성능을 달성한다. 전체적으로 10.2–12.2%의 mAP 향상을 기록한다.

ABSTRACT

Domain adaptation methods face performance degradation in object detection, as the complexity of tasks require more about the transferability of the model. We propose a new perspective on how CNN models gain the transferability, viewing the weights of a model as a series of motion patterns. The directions of weights, and the gradients, can be divided into domain-specific and domain-invariant parts, and the goal of domain adaptation is to concentrate on the domain-invariant direction while eliminating the disturbance from domain-specific one. Current UDA object detection methods view the two directions as a whole while optimizing, which will cause domain-invariant direction mismatch even if the output features are perfectly aligned. In this paper, we propose the domain-specific suppression, an exemplary and generalizable constraint to the original convolution gradients in backpropagation to detach the two parts of directions and suppress the domain-specific one. We further validate our theoretical analysis and methods on several domain adaptive object detection tasks, including weather, camera configuration, and synthetic to real-world adaptation. Our experiment results show significant advance over the state-of-the-art methods in the UDA object detection field, performing a promotion of $10.2\sim12.2\%$ mAP on all these domain adaptation scenarios.

연구 동기 및 목표

• 객체 검출 분야에서 도메인 특화 특징 간섭으로 인한 성능 저하 문제를 해결하기 위해.
• 모델 가중치와 기울기에서 도메인 불변 및 도메인 특화 방향을 명시적으로 분리함으로써 모델의 이식 가능성을 향상시키기 위해.
• 작업 특화 재학습이 필요 없이 도메인 불변 특징 학습을 향상시키는 플러그 앤 플레이 형 기울기 제약을 개발하기 위해.
• 현재의 UDA 방법들이 전체 특징 분포가 정렬되어 있음에도 도메인 불변 성분을 정렬하지 못하는 이유를 검증하기 위해.
• 기후, 카메라 설정, 그리고 실사로의 시뮬레이션 적응 등 다양한 도메인 이동 상황에서 DSS의 유효성을 입증하기 위해.

제안 방법

• 가중치 방향에 대한 투영을 통해 모델 가중치와 기울기를 도메인 불변 및 도메인 특화 방향 성분으로 분해한다.
• 가중치 벡터에 대한 투영을 통해 기울기의 도메인 특화 성분을 추정함으로써 역전파 과정에서 타겟된 억제를 가능하게 한다.
• 간소화된 변형은 L2 노멀라이제이션을 사용하여 계산 비용을 감소시키면서도 효과를 유지한다.
• 기본적인 검출 프레임워크인 Faster R-CNN 및 ResNet-50와 호환되는 플러그 앤 플레이 모듈로 구현된다.
• 기울기 제약은 도메인 특화 방향에서의 업데이트를 감소시켜 최적화가 도메인 불변 최적점으로 수렴하도록 유도한다.
• Cityscapes, Foggy Cityscapes, KITTI, SIM10K에서 검증되었으며, COCO 사전학습 모델을 대상으로 분석도 수행되었다.

실험 결과

연구 질문

• RQ1 도메인 불변 및 도메인 특화 기울기 방향을 명시적으로 분리하면 객체 검출에서 이식 가능성이 향상되는가?
• RQ2 현재의 UDA 방법들은 전체 특징 분포가 일치함에도 불구하고 도메인 불변 특징을 정렬하지 못하는 이유는 무엇인가?
• RQ3 도메인 특화 기울기 성분을 억제하면 다양한 도메인 이동 상황에서 일반화 성능이 향상되는가?
• RQ4 DSS와 같은 단순하고 일반화 가능한 기울기 제약이 UDA 객체 검출에서 복잡한 분포 정렬 방법을 능가할 수 있는가?
• RQ5 대규모 데이터셋에서의 사전학습과 도메인 특화 억제의 상호작용은 분류 능력 향상과 이식 가능성 향상에 어떻게 기여하는가?

주요 결과

• DSS는 기후, 카메라 설정, 시뮬레이션에서 실사로의 적응 등 다양한 UDA 객체 검출 벤치마크에서 기존 SOTA 방법 대비 10.2–12.2%의 mAP 향상을 기록한다.
• SIM10K에서 Cityscapes로의 적응 벤치마크에서, COCO 사전학습을 사용한 DSS는 58.6 mAP를 달성하여 소스 전용 베이스라인 대비 19.3%포인트 향상했다.
• 기울기 정량 분석 결과, DSS는 도메인 불변 운동 패tern이 중요한 얕은 층에서 기울기를 크게 증폭시키지만, 깊은 층에서는 억제함을 확인했다.
• 시각화 결과는 DSS가 특징 정렬이 이루어졌음에도 불구하고 성능 저하를 유발하는 도메인 불변 불일치 문제를 해결함을 확인했다.
• 기본 UDA 방법이 실패하는 조건, 예를 들어 농도 있는 dense 안개와 같은 패턴 및 텍스처 분포 불일치 상황에서도 DSS는 강건함을 입증했다.
• L2 노멀라이제이션을 사용한 간소화된 DSS 변형은 최소한의 계산 오버헤드로 높은 성능을 유지하며 플러그 앤 플레이 배포가 가능하다.