[논문 리뷰] Meta-DETR: Few-Shot Object Detection via Unified Image-Level Meta-Learning

Gongjie Zhang, Zhipeng Luo외 2명|arXiv (Cornell University)|2021. 03. 22.

Domain Adaptation and Few-Shot Learning인용 수 39

한 줄 요약

Meta-DETR는 카테고리에 종속되지 않은 디코더를 통해 영역별 예측을 회피하고 이미지 수준에서 카테고리별 객체 검출을 직접 생성함으로써 소수의 예시로도 객체 검출을 수행할 수 있는 통합적인 이미지 수준 메타학습 프레임워크를 제안한다. 의미 정렬 메커니즘을 활용하여 특징의 일반화 능력을 향상시킴으로써 다양한 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Few-shot object detection aims at detecting novel objects with only a few annotated examples. Prior works have proved meta-learning a promising solution, and most of them essentially address detection by meta-learning over regions for their classification and location fine-tuning. However, these methods substantially rely on initially well-located region proposals, which are usually hard to obtain under the few-shot settings. This paper presents a novel meta-detector framework, namely Meta-DETR, which eliminates region-wise prediction and instead meta-learns object localization and classification at image level in a unified and complementary manner. Specifically, it first encodes both support and query images into category-specific features and then feeds them into a category-agnostic decoder to directly generate predictions for specific categories. To facilitate meta-learning with deep networks, we design a simple but effective Semantic Alignment Mechanism (SAM), which aligns high-level and low-level feature semantics to improve the generalization of meta-learned representations. Experiments over multiple few-shot object detection benchmarks show that Meta-DETR outperforms state-of-the-art methods by large margins.

연구 동기 및 목표

• 새로운 카테고리에 대해 약수의 레이블이 부여된 예시만 제공되는 소수의 예시로도 객체 검출을 수행할 수 있는 문제를 해결하기 위해.
• 기존 메타학습 기반 검출기들이 고품질의 영역 제안에 의존하는 문제를 해결하기 위해, 이는 소수의 예시 설정에서 자주 신뢰할 수 없는 경향이 있음.
• 객체 위치 추정과 분류를 하나의 이미지 수준 예측 프레임워크로 통합하여 영역별 보정 과정을 제거하기 위해.
• 고수준 특징과 저수준 특징 간의 의미 정렬을 통해 메타학습된 표현의 일반화 능력을 향상시키기 위해.
• 새로운 종단간 메타학습 아키텍처를 통해 소수의 예시로도 객체 검출 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 공유 백본 네트워크를 사용하여 지원 이미지와 쿼리 이미지를 모두 카테고리별 특징으로 인코딩한다.
• 카테고리에 종속되지 않은 디코더가 인코딩된 특징을 처리하여 이미지 수준에서 특정 카테고리의 객체 검출 예측을 직접 생성한다.
• 고수준 특징과 저수준 특징 간의 의미를 정렬하기 위해 의미 정렬 메커니즘(SAM)을 도입하여 표현의 일반화 능력을 향상시킨다.
• 메타학습은 에피소드 기반으로 수행되며, 각 에피소드는 소수의 예시로 구성된 지원 세트와 평가를 위한 쿼리 세트를 포함한다.
• 종단간으로 학습되며, 검출 헤드는 하나의 통합된 방식으로 바운딩 박스와 클래스 레이블을 예측한다.
• 디코더는 지원 특징을 참조하는 크로스 어텐션 메커니즘을 사용하여 쿼리 예측을 생성함으로써 소수의 예시로의 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합적인 이미지 수준 메타학습 프레임워크는 소수의 예시로도 영역별 메타검출 방법보다 성능이 뛰어나게 될 수 있는가?
• RQ2 영역 제안에 의존하는 것의 제거가 소수의 예시 설정에서 검출 성능을 어떻게 향상시키는가?
• RQ3 특징 수준 간의 의미 정렬이 메타학습된 표현의 일반화 능력을 어느 정도 향상시키는가?
• RQ4 이미지 수준 특징을 기반으로 학습된 카테고리에 종속되지 않은 디코더는 영역별 헤드보다 더 나은 소수의 예시 일반화 성능을 달성할 수 있는가?
• RQ5 Meta-DETR은 다양한 소수의 예시로도 객체 검출 벤치마크에서 최신 기술 수준의 방법들과 비교해 어떤가?

주요 결과

• Meta-DETR는 다양한 소수의 예시로도 객체 검출 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기존 방법들보다 큰 격차로 앞서 있다.
• 초기 잘 위치한 영역 제안에 의존하지 않음으로써 소수의 예시 설정에서 일반화 능력이 뛰어나게 된다.
• 의미 정렬 메커니즘이 특징 표현의 품질을 크게 향상시켜 에피소드 전반에 걸쳐 더 높은 검출 정확도를 달성한다.
• 통합적인 이미지 수준 검출 프레임워크는 영역별 적응 전략보다 더 효과적인 메타학습을 가능하게 한다.
• 정량적 결과는 표준 소수의 예시로도 객체 검출 벤치마크에서 기존 방법들보다 일관되게 향상된 성능을 보이며, 정확한 mAP 값은 제공된 텍스트에 기재되어 있지 않다.
• 제거 분석 결과는 제안된 구성 요소, 특히 디코더 설계와 SAM의 성능 향상에 기여하는 효과를 확인한다.