[논문 리뷰] Should I Look at the Head or the Tail? Dual-awareness Attention for Few-Shot Object Detection.

Tung-I Chen, Yueh-Cheng Liu외 5명|arXiv (Cornell University)|2021. 02. 24.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

이 논문은 소수 샘플 객체 검출(FSOD)에서 지원 이미지와 쿼리 이미지 간의 교차 이미지 공간 관계를 모델링하는 새로운 어텐션 메커니즘인 더블 어웨어니스 어텐션(DAnA)을 제안한다. 이는 공간적 일치 실패에 대한 강건성을 향상시킨다. DAnA는 기존의 Faster R-CNN 및 RetinaNet 검출기들을 향상시켜 COCO에서 각각 48% 및 125%의 상대적 성능 향상을 달성하며 최신 기술 수준에 도달한다.

ABSTRACT

While recent progress has significantly boosted few-shot classification (FSC) performance, few-shot object detection (FSOD) remains challenging for modern learning systems. Existing FSOD systems follow FSC approaches, neglect the problem of spatial misalignment and the risk of information entanglement, and result in low performance. Observing this, we propose a novel Dual-Awareness-Attention (DAnA), which captures the pairwise spatial relationship cross the support and query images. The generated query-position-aware support features are robust to spatial misalignment and used to guide the detection network precisely. Our DAnA component is adaptable to various existing object detection networks and boosts FSOD performance by paying attention to specific semantics conditioned on the query. Experimental results demonstrate that DAnA significantly boosts (48% and 125% relatively) object detection performance on the COCO benchmark. By equipping DAnA, conventional object detection models, Faster-RCNN and RetinaNet, which are not designed explicitly for few-shot learning, reach state-of-the-art performance.

연구 동기 및 목표

• 최근 소수 샘플 분류(FSC)의 발전에도 불구하고, 소수 샘플 객체 검출(FSOD)에서 공간적 일치 실패와 정보 혼란 문제를 해결한다.
• 기존의 FSOD 방법들이 지원 및 쿼리 이미지 간의 공간 관계를 고려하지 않고 FSC 접근법을 단순히 적용함으로써 발생하는 한계를 극복한다.
• 소수 샘플 학습을 위한 아키텍처 재설계 없이도 기존 객체 검출 네트워크를 향상시킬 수 있는 일반적인 목적의 어텐션 모듈을 개발한다.
• 공간 변형에 강건하고 검출을 더 정확하게 이끌 수 있도록 쿼리 위치를 고려한 지원 특징을 생성함으로써 검출 정확도를 향상시킨다.

제안 방법

• 지원 이미지와 쿼리 이미지의 특징 간 쌍별 공간 관계를 명시적으로 모델링하는 어텐션 메커니즘인 더블 어웨어니스 어텐션(DAnA)을 제안한다.
• 쿼리 이미지 특징에 주목함으로써 쿼리 위치를 고려한 지원 특징을 생성함으로써, 모델이 쿼리의 공간적 맥락에 따라 지원 특징을 적응시킬 수 있도록 한다.
• 기존 검출 헤드(Faster R-CNN, RetinaNet 등)에 DAnA를 플러그인 모듈로 통합하여 아키텍처 변경 없이도 표준 검출기와 함께 사용할 수 있도록 한다.
• 교차 어텐션 메커니즘을 사용하여 쿼리의 공간 위치에 맞춰 지원 특징을 정렬하는 어텐션 가중치를 계산함으로써 공간적 일치 실패에 대한 민감도를 감소시킨다.
• 어텐션 메커니즘을 쿼리 이미지의 공간 레이아웃과 의미적 내용 양쪽에 조건화하여 관련된 지원 영역에만 집중할 수 있도록 한다.
• 표준 검출 손실을 사용하여 엔드 투 엔드로 모델을 훈련시키며, DAnA는 어텐션 감독을 통해 특징 표현을 개선하도록 학습한다.

실험 결과

연구 질문

• RQ1 지원 및 쿼리 이미지 간의 교차 이미지 공간 관계를 모델링하면 소수 샘플 객체 검출 성능이 향상되는가?
• RQ2 쿼리 위치를 고려한 어텐션 메커니즘이 FSOD에서 공간적 일치 실패의 부정적 영향을 줄이는가?
• RQ3 DAnA와 같은 일반 목적의 어텐션 모듈이 표준 객체 검출기와 효과적으로 통합되어 최신 기술 수준의 FSOD 성능을 달성할 수 있는가?
• RQ4 기존의 FSOD 방법과 비교했을 때, DAnA는 COCO와 같은 표준 벤치마크에서 검출 정확도를 어느 정도 향상시키는가?

주요 결과

• DAnA는 COCO 벤치마크에서 소수 샘플 객체 검출 성능을 크게 향상시켜 기준 Faster R-CNN 대비 48%의 상대적 성능 향상을 달성한다.
• RetinaNet에 적용했을 때 DAnA는 검출 성능에서 125%의 상대적 향상을 기록하여 다양한 아키텍처 간 강력한 일반화 능력을 입증한다.
• 아키텍처 수정 없이 표준 검출기들에 DAnA를 통합함으로써 최신 기술 수준의 결과를 도출함으로써, 그 효과성과 적응 가능성은 입증된다.
• 제안된 방법은 지원 특징에 대한 쿼리 조건 기반 어텐션을 학습함으로써 공간적 일치 실패 문제를 효과적으로 완화한다.
• 정보 혼란을 줄임으로써 DAnA는 특징 표현을 향상시켜 더 정확한 객체 정위치 추정과 분류를 가능하게 한다.
• 절단 분석 결과는 어텐션에서 공간적 및 의미적 인지의 두 가지 모두가 성능 향상에 필수적임을 확인하며, 이중 인지 설계의 타당성을 입증한다.