[논문 리뷰] MeGA-CDA: Memory Guided Attention for Category-Aware Unsupervised Domain Adaptive Object Detection

Vibashan VS, Vikram Gupta외 3명|arXiv (Cornell University)|2021. 03. 06.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

MeGA-CDA는 무 supervision 도메인 적응 객체 검출에서 카테고리 인식 특징 정렬을 가능하게 하기 위해 메모리 유도 주의 메커니즘을 제안한다. 이는 카테고리 무관 도메인 적응으로 인한 부정적 전이를 극복한다. 메트릭 학습 강화된 메모리 백업을 사용해 카테고리별 주의 맵을 생성함으로써, 타겟 데이터에 대한 레이블 없이도 특징을 카테고리별 분류기로 라우팅한다. Cityscapes 및 Foggy-Cityscapes와 같은 벤치마크 데이터셋에서 최신 기술 수준의 mAP 향상을 달성한다.

ABSTRACT

Existing approaches for unsupervised domain adaptive object detection perform feature alignment via adversarial training. While these methods achieve reasonable improvements in performance, they typically perform category-agnostic domain alignment, thereby resulting in negative transfer of features. To overcome this issue, in this work, we attempt to incorporate category information into the domain adaptation process by proposing Memory Guided Attention for Category-Aware Domain Adaptation (MeGA-CDA). The proposed method consists of employing category-wise discriminators to ensure category-aware feature alignment for learning domain-invariant discriminative features. However, since the category information is not available for the target samples, we propose to generate memory-guided category-specific attention maps which are then used to route the features appropriately to the corresponding category discriminator. The proposed method is evaluated on several benchmark datasets and is shown to outperform existing approaches.

연구 동기 및 목표

• 무 supervision 객체 검출에서 카테고리 무관 도메인 적합으로 인한 부정적 전이 문제를 해결하기 위해.
• 타겟 도메인 레이블이 없이도 카테고리 특이 정보를 도메인 적합에 통합하기 위해.
• 카테고리 인식 주의 맵을 생성해 특징을 카테고리별 분류기로 라우팅하는 메모리 기반 메커니즘을 개발하기 위해.
• 원천 도메인 바운딩 박스에서 유도된 약한 감독을 활용해 메트릭 학습을 통해 메모리 백업의 효과를 향상시키기 위해.
• 무 supervision 도메인 적합 벤치마크에서 객체 검출 분야에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 국소적인 공동 분포 매칭을 수행하기 위해 카테고리별 분류기를 제안함으로써, 카테고리 인식 특징 정렬을 보장한다.
• 카테고리별 메모리 백업에 저장된 프로토타입 특징을 사용해 특징을 올바른 분류기로 라우팅하는 메모리 유도 주의 맵을 도입한다.
• 학습 과정 동안 프로토타입 특징을 저장하고 업데이트하는 메모리 네트워크를 활용해 장기적인 패턴 유지 기능을 제공한다.
• 백본에서 생성된 특징 쿼리를 사용해 메모리 백업에서 유사한 항목을 검색하고, 유사도 점수 기반으로 주의 맵을 계산한다.
• 원천 도메인 바운딩 박스에서 유도된 약한 감독을 활용해 쿼리 특징과 메모리 프로토타입 간의 유사도 메트릭을 학습한다.
• VGG16 백본의 여러 특징 레이어(예: conv4 및 conv5)에서 글로벌 도메인 분류기와 메모리 유도 주의 메커니즘을 통합한다.

실험 결과

연구 질문

• RQ1 카테고리 인식 특징 정렬은 무 supervision 도메인 적응 객체 검출에서의 부정적 전이를 줄일 수 있는가?
• RQ2 타겟 도메인 레이블이 제공되지 않을 경우 카테고리 특이 주의는 어떻게 생성할 수 있는가?
• RQ3 메모리 네트워크는 주의 맵 생성을 위한 카테고리 특이 특징 프로토타입을 효과적으로 학습하고 유지할 수 있는가?
• RQ4 히우리스틱 유사도 측정 방식에 비해 메트릭 학습은 주의 맵 품질과 전체 검출 성능을 향상시키는가?
• RQ5 카테고리 인식 정렬을 적용한 다층 적응은 도메인 이동 벤치마크에서 mAP에 얼마나 기여하는가?

주요 결과

• MeGA-CDA는 Cityscapes → Foggy-Cityscapes 적응 작업에서 소스 전용 베이스라인 대비 4.1% 높은 mAP 향상을 달성한다.
• conv4 및 conv5 레이어에 MeGA-CDA를 적용할 경우 단일 레이어 적응 대비 추가로 2%의 mAP 향상을 기록한다.
• conv5 레이어에서 메트릭 학습 기반 유사도를 사용할 경우 코사인 유사도 대비 mAP가 2.1% 향상된다.
• 정성적 결과 분석에서 MeGA-CDA는 전역 도메인 정합으로 인한 잘못된 양성 및 빠진 검출을 줄이는 것으로 나타났다.
• 메트릭 학습을 통해 생성된 주의 맵은 코사인 유사도 기반 주의 맵보다 더 정확하고 객체 영역에 집중된 주의를 보였다.
• 이 방법은 타겟 도메인 레이블이 전혀 필요 없이도 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.