[논문 리뷰] Meta-DETR: Image-Level Few-Shot Object Detection with Inter-Class Correlation Exploitation

Gongjie Zhang, Zhipeng Luo외 2명|arXiv (Cornell University)|2021. 03. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 67인용 수 24

한 줄 요약

Meta-DETR는 DETR 아키텍처 내에서 메타학습을 활용하여 영역 제안 제한을 우회하고 지원 클래스 간의 상호 클래스 상관관계를 명시적으로 활용하는 새로운 이미지 수준의 소수 샘플 객체 검출 프레임워크를 제안한다. 상관관계 집합 모듈(CAM)을 통해 다수의 지원 클래스를 동시에 고려함으로써 일반화 성능을 향상시키고 유사한 클래스 간의 오분류를 줄이며, 다양한 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Few-shot object detection has been extensively investigated by incorporating meta-learning into region-based detection frameworks. Despite its success, the said paradigm is constrained by several factors, such as (i) low-quality region proposals for novel classes and (ii) negligence of the inter-class correlation among different classes. Such limitations hinder the generalization of base-class knowledge for the detection of novel-class objects. In this work, we design Meta-DETR, a novel few-shot detection framework that incorporates correlational aggregation for meta-learning into DETR detection frameworks. Meta-DETR works entirely at image level without any region proposals, which circumvents the constraint of inaccurate proposals in prevalent few-shot detection frameworks. Besides, Meta-DETR can simultaneously attend to multiple support classes within a single feed-forward. This unique design allows capturing the inter-class correlation among different classes, which significantly reduces the misclassification of similar classes and enhances knowledge generalization to novel classes. Experiments over multiple few-shot object detection benchmarks show that the proposed Meta-DETR outperforms state-of-the-art methods by large margins. The implementation codes will be released at https://github.com/ZhangGongjie/Meta-DETR.

연구 동기 및 목표

• 영역 기반 소수 샘플 검출의 한계, 특히 새로운 클래스에 대한 저품질 영역 제안 문제를 해결하기 위해.
• 기존 메타학습 기반 검출기들이 하나의 지원 클래스씩 처리하면서 상호 클래스 상관관계를 간과하는 문제를 해결하기 위해.
• 유사하거나 관련된 객체 클래스 간의 관계를 모델링하여 기본 클래스에서 새로운 클래스로의 지식 일반화를 효과적으로 가능하게 하기 위해.
• 영역 제안 생성을 피하고 저샷 설정에서의 강건성을 향상시키기 위해 순수한 이미지 수준의 메타검출 프레임워크를 설계하기 위해.
• 새로운 상관관계 집합 모듈(CAM)의 효과성을 검증하기 위해, 특징 정렬 향상과 유사한 클래스 간 오분류 감소에 기여하는가를 확인하기 위해.

제안 방법

• 영역 제안 없이 완전히 이미지 수준에서 작동하는 메타학습 기반의 소수 샘플 객체 검출기인 Meta-DETR를 도입하며, DETR 프레임워크에 기반한다.
• 다수의 지원 클래스를 동시에 고려할 수 있도록 하는 상관관계 집합 모듈(CAM)을 도입하여, 특징 집합 과정에서 상호 클래스 공통점과 차이점을 포착한다.
• 백그라운드 처리를 위해 프로토타입과 작업 인코딩을 사용하여, 쿼리 특징이 어떤 지원 클래스와도 일치하지 않는 '일치 없음' 상황을 더 잘 다룬다.
• 이미지 수준에서 메타학습을 적용하여, 영역 수준의 감독에 의존하지 않고도 기본 클래스 지식을 새로운 클래스로 일반화할 수 있도록 한다.
• DETR의 가용한 쿼리 임베딩과 객체 쿼리 기반으로 교차 attention을 통해 엔드 투 엔드 검출을 수행한다.
• 다중 헤드 어텐션 메커니즘을 활용하여 지원 특징과 쿼리 특징을 동시에 고려하는 방식으로, 상호 클래스 관계를 공동으로 모델링한다.

실험 결과

연구 질문

• RQ1 저품질 영역 제안에 의존하지 않는 순수한 이미지 수준의 메타검출 프레임워크가 영역 기반 방법보다 소수 샘플 객체 검출에서 성능을 뛰어나게 할 수 있는가?
• RQ2 다수의 지원 클래스를 동시에 집합 처리하면 유사한 클래스 간 오분류를 줄이고 검출 성능을 향상시킬 수 있는가?
• RQ3 명시적인 상호 클래스 상관관계 모델링이 저샷 설정에서 새로운 클래스로의 일반화에 얼마나 기여하는가?
• RQ4 동시에 집합 처리하는 지원 클래스의 수가 검출 성능과 모델 용량에 어떤 영향을 미치는가?
• RQ5 제안된 상관관계 집합 모듈(CAM)은 기존 영역 기반 메타검출 프레임워크에 효과적으로 적용될 수 있는가?

주요 결과

• Meta-DETR는 다양한 소수 샘플 검출 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 특히 저샷 설정에서 이전 방법들에 비해 크게 뛰어나다.
• 1-shot 검출에서 Meta-DETR는 Pascal VOC에서 mAP@0.5가 59.3%를 기록하며, CAM이 없는 기준선 대비 4.8% 향상되었다.
• 2-shot 검출에서 상관관계 집합 모듈(CAM)은 성능을 5.0% mAP 향상시켜 상호 클래스 상관관계를 효과적으로 활용함을 입증한다.
• 영역 기반 FsDetView 프레임워크에 적용했을 경우, 5-shot 설정에서 mAP가 최대 5.9% 향상되어 CAM의 뛰어난 적응 가능성 확인.
• t-SNE 시각화 결과, CAM이 특징 공간에서 객체 클래스 간 분리도를 향상시켜 유사한 클래스(예: 소와 양) 간 혼동을 줄임을 확인.
• 5개 이상의 지원 클래스를 동시에 집합 처리할 경우 성능 저하가 발생하여, 상관관계 활용과 모델 용량 사이의 트레이드오프가 존재함을 시사하며, 이에 따라 기본적으로 집합 처리할 클래스 수를 5로 설정함.