[논문 리뷰] Hierarchical Attention Network for Few-Shot Object Detection via Meta-Contrastive Learning

Dongwoo Park, Jongmin Lee|arXiv (Cornell University)|2022. 08. 15.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

이 논문은 소수의 샘플로 객체 검출을 수행하기 위해 계층적 어텐션 네트워크와 메타-대비 학습을 결합한 방법을 제안한다. 국소적이고 전역적인 어텐션을 다중 척도 특징 집약 모듈과 클래스 무관한 유사도 학습 목표를 통해 통합하여 특징 표현을 향상시킨다. 이 방법은 관련된 대비 학습을 통해 지원 이미지를 효과적으로 활용함으로써, 미세조정 없이도 COCO에서 1~30샷의 경우에 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Few-shot object detection (FSOD) aims to classify and detect few images of novel categories. Existing meta-learning methods insufficiently exploit features between support and query images owing to structural limitations. We propose a hierarchical attention network with sequentially large receptive fields to fully exploit the query and support images. In addition, meta-learning does not distinguish the categories well because it determines whether the support and query images match. In other words, metric-based learning for classification is ineffective because it does not work directly. Thus, we propose a contrastive learning method called meta-contrastive learning, which directly helps achieve the purpose of the meta-learning strategy. Finally, we establish a new state-of-the-art network, by realizing significant margins. Our method brings 2.3, 1.0, 1.3, 3.4 and 2.4% AP improvements for 1-30 shots object detection on COCO dataset. Our code is available at: https://github.com/infinity7428/hANMCL

연구 동기 및 목표

• 기존의 소수의 샘플로 객체 검출 방법이 전역 어텐션에만 의존하여 국소적 맥락 정보를 효율적으로 활용하지 못하는 한계를 해결하기 위해.
• 메타학습이 소수의 샘플로 객체 검출에 효과적인지 조사하고, 더 나은 특징 정렬을 위해 목적 함수를 개선하기 위해.
• 국소적 영역에서 전역 영역으로 점차 확장되는 수용장역을 가지는 계층적 어텐션 메커니즘을 설계하여 특징 표현을 향상시키기 위해.
• 질의 이미지와 지원 이미지 간의 클래스 무관 유사도 학습을 가능하게 하는 메타-대비 학습 모듈을 개발하여 일반화 능력을 향상시키기 위해.
• 미세조정이 필요 없이 저자료 환경, 제로샷 및 교차 도메인 설정에서도 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 깊이 분리형 및 확장형 컨볼루션과 전역 자기어텐션을 조합한 계층적 어텐션 모듈(HAM)을 도입하여 국소적 영역에서 전역 영역 스케일로 점차 확장되는 수용장역을 구현한다.
• 공유된 완전 연결 층을 사용하여 질의 및 지원 이미지 특징 간의 상관관계 특징을 생성하는 메타-대비 학습 모듈(Meta-CLM)을 활용하여, 카테고리에 관계없이 이진 분류 기반의 유사도를 가능하게 한다.
• ResNet-101을 특징 추출기로 사용하는 이중 단계의 Faster R-CNN 백본을 사용하며, HAM을 영역 제안 네트워크와 검출 헤드에 통합한다.
• 상관관계 특징 기반의 대비 손실을 적용하여, 동일한 클래스에 属하는 질의-지원 쌍은 가까이, 다른 쌍은 멀리 있도록 분류 가능한 임bedding 공간을 유도한다.
• 기본 클래스에서 메타학습을 통해 엔드 투 엔드로 모델을 훈련시켜, 미세조정 없이도 새로운 카테고리에 대해 제로샷 추론이 가능하게 한다.
• 핵심 크기가 점차 증가하는 (예: 5, 7, 14, 21, 28) 계층적 어텐션 구조를 사용하여 국소적-전역 맥락을 체계적으로 탐색하며, 추론 연구를 통해 검증한다.

실험 결과

연구 질문

• RQ1 국소적 어텐션과 전역 어텐션을 통합하는 계층적 어텐션 메커니즘이 소수의 샘플로 객체 검출에서 특징 표현을 향상시키는가?
• RQ2 다중 클래스 분류가 아닌 유사도 기반 매칭을 위한 목적 함수를 재구성했을 때, 메타학습이 소수의 샘플로 객체 검출에 효과적으로 기여하는가?
• RQ3 클래스 무관 대비 학습 목표가 새로운 카테고리 간의 질의 및 지원 이미지 간 특징 정렬을 향상시키는가?
• RQ4 도메인 또는 카테고리 이동이 발생하는 제로샷 및 교차 도메인 소수의 샘플로 객체 검출 환경에서 제안된 방법의 성능은 어떠한가?
• RQ5 수용장역이 점차 증가하는 계층적 어텐션 구조가 비계층적 또는 반대 계층적 설계보다 더 효과적인가?

주요 결과

• 제안된 방법은 COCO에서 1, 2, 3, 5, 10, 30샷의 경우에 최신 기술 수준의 평균 정밀도(mAP)를 달성하며, 미세조정 없이도 기존 방법들을 능가한다.
• 제로샷 평가 설정(기본 클래스에서만 훈련하고 새로운 카테고리에서 테스트)에서 모델은 높은 적응 능력을 보이며 강력한 성능 유지를 유지한다.
• 추론 연구를 통해 계층적 어텐션 메커니즘이 비계층적 또는 반대 계층적 설계보다 mAP를 크게 향상시키며, 핵심 크기가 14, 21, 28일 때 최고 성능를 기록한다.
• 메타-대비 학습 모듈은 추론 연구에서 더 높은 mAP를 보이며 특징의 분류 능력을 향상시키며, 특히 소수의 샘플 및 교차 도메인 설정에서 두드러진다.
• 교차 도메인 평가(예: Pascal VOC에서 훈련하고 COCO에서 테스트)에서 기존 방법보다 더 우수한 일반화 능력을 보이며 도메인 이동에 대한 강건성을 입증한다.
• 어텐션 맵의 시각화 결과는 제안된 방법이 새로운 카테고리에 대해서도 기준 방법보다 더 정확하게 객체 영역에 집중함을 보여준다.