[논문 리뷰] DA-DETR: Domain Adaptive Detection Transformer by Hybrid Attention

Jingyi Zhang, Jiaxing Huang외 3명|arXiv (Cornell University)|2021. 03. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 53인용 수 27

한 줄 요약

DA-DETR는 단일 판별자와 하이브리드 어텐션 모듈을 통해 도메인 간 어려운 특징을 명시적으로 정렬함으로써 도메인 적응을 단순화하는 일단계, 도메인 적응형 객체 검출 트랜스포머를 제안한다. 복잡한 다중 프레임워크 적대적 훈련 절차를 제거함으로써 간단함에도 불구하고 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

The prevalent approach in domain adaptive object detection adopts a two-stage architecture (Faster R-CNN) that involves a number of hyper-parameters and hand-crafted designs such as anchors, region pooling, non-maximum suppression, etc. Such architecture makes it very complicated while adopting certain existing domain adaptation methods with different ways of feature alignment. In this work, we adopt a one-stage detector and design DA-DETR, a simple yet effective domain adaptive object detection network that performs inter-domain alignment with a single discriminator. DA-DETR introduces a hybrid attention module that explicitly pinpoints the hard-aligned features for simple yet effective alignment across domains. It greatly simplifies traditional domain adaptation pipelines by eliminating sophisticated routines that involve multiple adversarial learning frameworks with different types of features. Despite its simplicity, extensive experiments show that DA-DETR demonstrates superior accuracy as compared with highly-optimized state-of-the-art approaches.

연구 동기 및 목표

• 다양한 적대적 프레임워크와 수작업으로 구성된 구성 요소에 의존하는 복잡한 도메인 적응 파ipeline을 단순화하기 위해.
• 더 높은 호환성을 확보하기 위해 Faster R-CNN과 같은 이단계 검출기들을 더 단순한 일단계 아키텍처로 대체하기 위해.
• 어려운 특징을 정렬하는 데 초점을 맞춘 새로운 하이브리드 어텐션 메커니즘을 통해 효과적인 도메인 간 특징 정렬을 가능하게 하기 위해.
• 앵커, 영역 풀링, 비최대 억제와 같은 하이퍼파라미터 의존성과 엔지니어링 집약적인 구성 요소에 대한 의존도를 줄이기 위해.
• 단순화된 단일 판별자 훈련 체계를 통해 도메인 적응형 객체 검출에서 최신 기술 수준의 정확도를 달성하기 위해.

제안 방법

• 앵커, 영역 제안 네트워크, 비최대 억제에 대한 의존도를 제거하기 위해 일단계 트랜스포머 기반 검출기(DETR)를 채택한다.
• 원천 도메인과 타겟 도메인 간 어려운 특징을 명시적으로 식별하고 정렬하는 하이브리드 어텐션 모듈을 도입한다.
• 다중 프레임워크 적대적 훈련을 대체하기 위해 도메인 간 특징 정렬을 수행하는 단일 도메인 판별자를 활용한다.
• 검출 과정에서 도메인 불변 특징을 융합하기 위해 트랜스포머 디코더의 교차 어텐션 메커니즘을 활용한다.
• 단일 판별자를 통해 검출 손실과 적대적 도메인 정렬 손실을 통합한 통합 훈련 목표 함수를 사용한다.
• 아키텍처의 복잡성 없이도 도메인 일반화를 향상시키기 위해 트랜스포머 디코더에서 특징 수준의 정렬을 적용한다.

실험 결과

연구 질문

• RQ1 복잡한 적응 파이프라인을 단순화하면서도, 이단계 검출기들보다 우수한 성능을 내는 일단계 트랜스포머 기반 검출기가 도메인 적응형 객체 검출에서 성능을 뛰어넘을 수 있는가?
• RQ2 다중 프레임워크 적대적 방법과 비교해 복합적인 특징 정렬을 수행하는 데 효과적인 단일 판별자와 하이브리드 어텐션의 조합은 어떤가?
• RQ3 앵커와 NMS와 같은 수작업 구성 요소를 제거하면 도메인 적응 성능에 얼마나 기여하는가?
• RQ4 하이브리드 어텐션 모듈은 교차 도메인 환경에서 특징 정렬 품질과 검출 정확도를 향상시키는가?
• RQ5 보다 단순하고 통합된 훈련 프레임워크는 성능을 희생시키지 않고 최신 기술 수준의 결과를 달성할 수 있는가?

주요 결과

• DA-DETR는 도메인 적응형 객체 검출 분야에서 최신 기술 수준의 고도로 최적화된 접근법들보다 뛰어난 검출 정확도를 달성한다.
• 복잡한 다중 프레임워크 적대적 훈련을 단일 판별자로 대체함으로써 도메인 적응 파이프라인을 크게 단순화한다.
• 하이브리드 어텐션 모듈은 어려운 특징을 효과적으로 식별하고 정렬하여 도메인 간 특징 일관성을 향상시킨다.
• 일단계 트랜스포머 아키텍처는 앵커와 NMS와 같은 하이퍼파라미터 의존성과 엔지니어링 집약적인 구성 요소에 대한 의존도를 감소시킨다.
• 특성 수정 없이도 도메인 이동에 강력한 일반화 성능를 보이며, 광범위한 도메인 변화에 잘 적응한다.
• 실험 결과는 단일 판별자와 하이브리드 어텐션 조합이 단순함을 유지하면서도 최신 기술 수준의 성능을 달성함을 확인한다.