[논문 리뷰] Hallucination Improves Few-Shot Object Detection

Weilin Zhang, Yu-Xiong Wang|arXiv (Cornell University)|2021. 05. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 11

한 줄 요약

이 논문은 소수의 샘플(1~2장)만 존재하는 새로운 클래스에 대해 일반화 성능을 향상시키기 위해 합성된 관심영역(ROI) 특징을 생성하는 환각망(Hallucinator Network)을 제안한다. 이 방법은 기초 클래스에서의 동일 클래스 내 변동성(예: 자세, 조명 등)을 전이하여 분류기의 일반화 능력을 향상시킨다. 특징 공간에서 반복적으로 다양한 실재감 있는 예시를 환각함으로써, 이 방법은 COCO와 PASCAL VOC에서 극소수의 샘플(1~2샷) 환경에서도 최신 기술(SOTA) 성능을 달성하며, 잘못된 양성 예측(false positives)을 크게 줄이고 검출 정확도를 향상시킨다.

ABSTRACT

Learning to detect novel objects from few annotated examples is of great practical importance. A particularly challenging yet common regime occurs when there are extremely limited examples (less than three). One critical factor in improving few-shot detection is to address the lack of variation in training data. We propose to build a better model of variation for novel classes by transferring the shared within-class variation from base classes. To this end, we introduce a hallucinator network that learns to generate additional, useful training examples in the region of interest (RoI) feature space, and incorporate it into a modern object detection model. Our approach yields significant performance improvements on two state-of-the-art few-shot detectors with different proposal generation procedures. In particular, we achieve new state of the art in the extremely-few-shot regime on the challenging COCO benchmark.

연구 동기 및 목표

• 매우 소수의 예시(1~2장)만 제공되는 새로운 클래스에서 발생하는 레이블 변동성 부족 문제를 해결한다.
• 기존의 영역 제안망(RPN)이나 메타학습에만 의존하는 방법들이 충분한 외관 변동성을 포착하지 못하는 한계를 극복한다.
• 자원이 풍부한 기초 클래스에서의 공통된 동일 클래스 내 변동성(예: 자세, 조명 등)을 전이함으로써 분류기의 강건성을 향상시킨다.
• 현대의 이단계 검출기(TFA 및 CoRPN 등)와 호환되는 즉시 사용 가능한 환각 모듈을 개발하며, 복잡한 메타학습을 필요로 하지 않는다.

제안 방법

• 기존 분류기를 사용해 합성된 ROI 특징을 생성한 후, 실재 및 환각된 예시를 기반으로 분류기를 재학습하는 방식으로, EM 유사 방식으로 환각망을 훈련시킨다.
• 학습된 ROI 특징 공간에서 환각을 수행함으로써, 새로운 클래스의 특징에 대해 다양하고 현실적인 변형을 생성할 수 있다.
• 메타학습을 피하기 위해, 분류기 개선과 환각을 번갈아 수행하는 단순한 엔드 투 엔드 훈련 절차를 사용한다.
• 훈련 배치당 클래스당 고정된 수의 환각 예시를 생성한다(예: 20개), 최적의 성능를 위해 이 수치를 튜닝한다.
• 환각된 예시를 분류기의 훈련 손실에 통합함으로써, 결정 경계 추정을 향상시킨다.
• 추론 시의 미세조정 동안에도 환각망을 적용함으로써, 실재 예시가 극히 적은 상황에서도 더 나은 일반화 성능을 달성한다.

실험 결과

연구 질문

• RQ1 특징 공간에서의 데이터 환각이 극소수의 샘플에서 발생하는 외관 변동성 부족 문제를 효과적으로 해결할 수 있는가?
• RQ2 RPN에서 생성된 제안만을 사용하는 것과 비교해, ROI 특징 공간에서의 환각 예시를 사용하는 것이 분류기 훈련에 어떤 영향을 미치는가?
• RQ3 제안된 EM 유사 훈련 절차가 메타학습 기반 대안보다 소수의 샘플에서 더 높은 성능을 내는가?
• RQ4 결정 경계 추정을 향상시킴으로써 환각이 잘못된 양성 예측을 얼마나 줄이는가?
• RQ5 아키텍처의 대대적인 수정 없이도, 다양한 최신 기술의 소수의 샘플 검출기와 효과적으로 통합될 수 있는가?

주요 결과

• 제안된 환각망은 TFA 대비 PASCAL VOC의 새로운 클래스 세트 1에서 1샷 AP50를 5.3점 향상시켜 45.1로 개선, TFA의 39.8을 상회한다.
• 새로운 클래스 세트 2에서는 공격적인 환각 전략을 사용해 29.3 AP50를 달성하며, TFA의 23.5보다 6.1점 향상되었다.
• 환각으로 인해 평균적으로 잘못된 양성 박스 수가 25% 감소(3,440.6 → 3,041.1)하여, 결정 경계 추정이 향상됨을 시사한다.
• 배치당 20개의 환각 예시에서 성능가 포화 상태에 도달하며, 그 이상일 경우 약간의 성능 저하가 발생함으로써 최적의 처리 용량이 있음을 시사한다.
• 진짜 양성 검출과 잘못된 양성 예측 감소 양측 모두에서 성능 향상이 이루어지며, 특히 잘못된 양성 예측 감소에서 더 큰 성과를 보여, 결정 경계의 일반화 능력 향상이 확인된다.
• 환각망은 다양한 분류기 유형에 효과적으로 적용되며, CoRPN에서 코사인 및 완전 연결 분류기 모두에서 성능 향상을 입증함으로써 일반화 능력을 확인한다.