[논문 리뷰] Breaking Immutable: Information-Coupled Prototype Elaboration for Few-Shot Object Detection

Xiaonan Lu, Wenhui Diao외 5명|arXiv (Cornell University)|2022. 11. 27.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 정보 결합형 프로토타입 정제(ICPE)를 제안하며, 조건부 정보 결합 모듈을 통해 질의에 민감한 정보를 지원 특징에 융합하고, 내부 및 상호 이미지 주의 메커니즘을 이용해 유의미한 특징을 동적으로 집계함으로써 프로토타입 품질을 향상시키는 새로운 소수 샘플 객체 검출 방법이다. ICPE는 Pascal VOC 및 MS COCO에서 최신 기술 수준(SOTA) 성능을 달성하여 COCO에서 10샷 및 30샷 설정에서 AP를 10% 이상 향상시켰다.

ABSTRACT

Few-shot object detection, expecting detectors to detect novel classes with a few instances, has made conspicuous progress. However, the prototypes extracted by existing meta-learning based methods still suffer from insufficient representative information and lack awareness of query images, which cannot be adaptively tailored to different query images. Firstly, only the support images are involved for extracting prototypes, resulting in scarce perceptual information of query images. Secondly, all pixels of all support images are treated equally when aggregating features into prototype vectors, thus the salient objects are overwhelmed by the cluttered background. In this paper, we propose an Information-Coupled Prototype Elaboration (ICPE) method to generate specific and representative prototypes for each query image. Concretely, a conditional information coupling module is introduced to couple information from the query branch to the support branch, strengthening the query-perceptual information in support features. Besides, we design a prototype dynamic aggregation module that dynamically adjusts intra-image and inter-image aggregation weights to highlight the salient information useful for detecting query images. Experimental results on both Pascal VOC and MS COCO demonstrate that our method achieves state-of-the-art performance in almost all settings.

연구 동기 및 목표

• 소수 샘플 객체 검출에서 고정된, 질의에 민감하지 않은 프로토타입의 한계를 해결하기 위해.
• 질의 이미지의 지각 정보를 지원 특징 학습에 통합하여 프로토타입의 대표성을 향상시키기 위해.
• 프로토타입 집계 과정에서 균일한 평균화로 인해 발생하는 분류 가능한 객체 특징의 흐림 현상을 완화하기 위해.
• 지원 이미지 내의 유의미한 영역과 질의와 가장 유사한 핵심 지원 이미지에 대해 동적으로 강조하기 위해.
• 다양한 질의 이미지 맥락에 적응하는 질의별 고품질 프로토타입을 생성하기 위해.

제안 방법

• 조건부 정보 결합 모듈이 질의 특징을 지원 특징에 융합하여 지원 표현에 질의에 민감한 맥락을 통합한다.
• 프로토타입 동적 집계 모듈은 각 지원 이미지 내에서 국소적-전역적 의존성을 구축하여 중요한 영역을 강조하는 내부 이미지 메커니즘을 포함한다.
• 상호 이미지 동적 집계 메커니즘은 질의와의 이미지 유사도를 학습하여 더 관련성이 높은 지원 이미지에 더 높은 가중치를 할당한다.
• 내부 및 상호 이미지 모듈에서 학습 가능한 주의 가중치를 사용하여 질의 맥락에 따라 특징 집계를 동적으로 조정한다.
• 결합된 특징은 프로토타입 생성 헤드를 거쳐 검출을 위한 질의 적응형 프로토타입을 생성한다.
• 프레임워크는 지원 및 질의 세트를 사용한 에피소드 훈련 방식으로 메타학습 파라다임에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 소수 샘플 객체 검출에서 프로토타입을 각 질의 이미지의 특정 맥락에 더 적응적으로 만들 수 있는가?
• RQ2 질의에 민감한 정보는 지원 기반 프로토타입의 대표성에 얼마나 기여하는가?
• RQ3 동적 특징 집계는 프로토타입 구축 과정에서 분류 가능한 객체 특징을 유지하는 데 균일한 평균화보다 우수한가?
• RQ4 내부 이미지 및 상호 이미지 주의 메커니즘이 소수 샘플 검출에서 프로토타입 품질을 공동으로 향상시키는 방식은 무엇인가?
• RQ5 제안된 방법은 MS COCO와 같은 복잡한 실세계 데이터셋으로도 효과적으로 일반화되는가?

주요 결과

• ICPE는 10샷 설정에서 MS COCO에서 19.3%의 AP를 기록했고, 30샷 설정에선 23.1%를 기록하여 Meta R-CNN을 10% 이상 초월했다.
• 조건부 정보 결합 모듈만으로도 Pascal VOC에서 모든 샷 설정에서 mAP가 5.2% 향상되었다.
• 프로토타입 동적 집계 모듈은 별도로 사용할 경우 3.7%의 mAP 향상을 기록했고, 결합 모듈과 함께 사용할 경우 7.8% 향상되었다.
• 내부-DAM은 기본 풀링 방법 대비 mAP를 2.7% 향상시켰고, 상호-DAM은 평균적으로 3.7% 성능 향상을 이끌었다.
• 제거 실험을 통해 $f(Q,K)$의 쿼리-키 특징 맵에서 1024채널이 최적의 성능을 내며 과적합 또는 과소적합을 방지함을 확인했다.
• 계산 비용 증가는 미미하며, Meta R-CNN 대비 파라미터와 FLOPs가 약간 증가하여 효율성을 입증했다.