[논문 리뷰] Leveraging Bottom-Up and Top-Down Attention for Few-Shot Object Detection

Xianyu Chen, Ming Jiang외 1명|arXiv (Cornell University)|2020. 07. 23.

Advanced Neural Network Applications참고 문헌 63인용 수 8

한 줄 요약

이 논문은 극도로 낮은 데이터 가용성 조건에서 검출 성능을 향상시키기 위해 바닥에서부터의 시각적 주목 지도와 상향식 주목을 결합한 새로운 소수 샘플 객체 검출 프레임워크인 AttFDNet을 제안한다. 인간의 주목 사전 지식을 바닥에서부터의 주목을 통해 통합하고, 새로운 집중 손실 함수 및 하이브리드 학습 전략을 도입함으로써 AttFDNet은 PASCAL VOC에서 최신 기술 수준의 성능을 달성하였으며, 2-shot 및 3-shot 설정에서 새로운 카테고리의 mAP를 크게 향상시켰다.

ABSTRACT

Few-shot object detection aims at detecting objects with few annotated examples, which remains a challenging research problem yet to be explored. Recent studies have shown the effectiveness of self-learned top-down attention mechanisms in object detection and other vision tasks. The top-down attention, however, is less effective at improving the performance of few-shot detectors. Due to the insufficient training data, object detectors cannot effectively generate attention maps for few-shot examples. To improve the performance and interpretability of few-shot object detectors, we propose an attentive few-shot object detection network (AttFDNet) that takes the advantages of both top-down and bottom-up attention. Being task-agnostic, the bottom-up attention serves as a prior that helps detect and localize naturally salient objects. We further address specific challenges in few-shot object detection by introducing two novel loss terms and a hybrid few-shot learning strategy. Experimental results and visualization demonstrate the complementary nature of the two types of attention and their roles in few-shot object detection. Codes are available at https://github.com/chenxy99/AttFDNet.

연구 동기 및 목표

• 제한된 애너테이션 예제로 인해 모델 오버피팅과 일반화 능력 저하가 발생하는 소수 샘플 객체 검출 문제를 해결한다.
• 부족한 감독 신호로 인해 효과적인 주목 지도 학습이 어려운 상향식 주목의 한계를 극복한다.
• 눈의 주목 데이터에서 유도된 바닥에서부터의 주목을 태스크에 종속되지 않는 사전 지식으로 활용하여, 주목을 끄는 자연스러운 객체를 탐지하도록 유도한다.
• 객체 집중 손실 및 배경 집중 손실이라는 두 가지 새로운 손실 항목을 도입하여 모델의 강건성과 특징 분리 능력을 향상시킨다.
• 전이 학습과 메타학습을 융합한 하이브리드 소수 샘플 학습 전략을 개발하여 모델 초기화를 개선하고 오버피팅을 방지한다.

제안 방법

• 인간의 눈의 주목 데이터에서 유도된 바닥에서부터의 주목 지도를 사전 지식으로 통합하여 이미지 내 주목을 끄는 영역을 강조한다.
• 일단의 검출기(RFB-SSD) 내에서 바닥에서부터와 상향식 주목 메커니즘을 융합하여 소수 샘플 카테고리의 특징 표현을 향상시킨다.
• 메타학습과 전이 학습을 번갈아 적용하는 하이브리드 소수 샘플 학습 전략을 제안하여 모델 일반화 능력을 향상시킨다.
• 새로운 카테고리의 동일 클래스 특징 일치를 강화하고 어려운 음성 앵커의 영향을 줄이기 위해 객체 집중 손실을 도입한다.
• 불필요한 특징을 억제하고 전경 및 배경 영역 간의 분리 능력을 향상시키기 위해 배경 집중 손실을 설계한다.
• 기존의 전체 데이터셋으로 사전 훈련된 모델에서 지식 정복을 적용하여 기초 카테고리의 지식을 유지하고 데이터 부족 조건에서의 훈련 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 초기 데이터가 극도로 제한된 상황에서 인간의 눈의 주목 데이터에서 유도된 바닥에서부터의 주목이 소수 샘플 객체 검출에 효과적인 사전 지식으로 기능할 수 있는가?
• RQ2 소수 샘플 객체 검출에서 바닥에서부터와 상향식 주목 메커니즘이 어떻게 상호 보완적인가? 각각의 기여도는 무엇인가?
• RQ3 제안된 집중 손실(객체 및 배경)이 소수 샘플 상황에서 특징 분리 능력과 모델 일반화 능력을 얼마나 향상시키는가?
• RQ4 하이브리드 소수 샘플 학습 전략이 표준 메타학습 또는 전이 학습만을 사용하는 것보다 강건성과 정확도 측면에서 뛰어나게 성능을 내는가?
• RQ5 자극성 사전 지식의 통합은 기초 카테고리 성능을 유지하면서도 새로운 카테고리 탐지 능력을 어떻게 향상시키는가?

주요 결과

• AttFDNet은 PASCAL VOC에서 2-shot 설정에서 20.7%의 새로운 카테고리 mAP, 3-shot 설정에서 29.1%의 mAP를 기록하여 기준 모델 RFB-ft-full(각각 8.1% 및 10.8% mAP)을 크게 앞서는 성능을 보였다.
• 제거 실험 결과 바닥에서부터의 주목(BU)이 상당한 성능 향상을 이끌어내는 것으로 확인되었다: 2-shot 설정에서 AttFDNet(BU+TD)는 58.1%의 전체 mAP를 기록했고, 상향식 주목 전용(TD)은 56.3%, 기준 모델은 48.6%였다.
• 지식 정복 손실을 제거하면 기초 mAP는 52.0%로 떨어지고, 새로운 mAP는 18.0%로 하락하여, 이는 기초 카테고리의 지식 유지를 위한 핵심 기능임을 입증한다.
• 배경 집중 손실과 객체 집중 손실은 각각 성능 향상에 기여하며, 둘 다 제거될 경우 2-shot 설정에서 전체 mAP가 55.4%로 떨어져 함께 작용할 때의 병합 효과를 확인할 수 있었다.
• 하이브리드 소수 샘플 학습 전략은 더 나은 모델 초기화를 가능하게 하였으며, AttFDNet(BU+TD) w/o bk는 57.5%의 전체 mAP를 기록하여 표준 메타학습 기준 모델를 초월했다.
• 시각화 및 정성적 분석 결과 바닥에서부터의 주목이 상향식 주목이 흐릿한 경우에도 효과적으로 주목을 끄는 객체를 강조함을 확인하였으며, 이는 두 주목 메커니즘이 상호 보완적인 역할을 한다는 것을 입증한다.