[논문 리뷰] Closing the Generalization Gap in One-Shot Object Detection

Claudio Michaelis, Matthias Bethge외 1명|arXiv (Cornell University)|2021. 05. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 40인용 수 5

한 줄 요약

이 논문은 훈련 중 객체 카테고리 수를 늘임으로써 일회성 객체 검출에서 일반화 갭을 거의 완전히 해소함을 보여주며, COCO에서 AP50를 22.0에서 27.5로 향상시키고, 본 적 있는 클래스에서 본 적 없는 클래스로의 제로샷 일반화 성능을 45%에서 89%로 끌어올림으로써 복잡한 거리 측정 학습 기법에 의존하지 않고도 성능을 향상시킴. 이는 단지 카테고리 다양성의 스케일링을 통해 달성됨.

ABSTRACT

Despite substantial progress in object detection and few-shot learning, detecting objects based on a single example - one-shot object detection - remains a challenge. A central problem is the generalization gap: Object categories used during training are detected much more reliably than novel ones. We here show that this generalization gap can be nearly closed by increasing the number of object categories used during training. Doing so allows us to beat the state-of-the-art on COCO by 5.4 %AP50 (from 22.0 to 27.5) and improve generalization from seen to unseen classes from 45% to 89%. We verify that the effect is caused by the number of categories and not the amount of data and that it holds for different models, backbones and datasets. This result suggests that the key to strong few-shot detection models may not lie in sophisticated metric learning approaches, but instead simply in scaling the number of categories. We hope that our findings will help to better understand the challenges of few-shot learning and encourage future data annotation efforts to focus on wider datasets with a broader set of categories rather than gathering more samples per category.

연구 동기 및 목표

• 일회성 객체 검출에서 새로운 카테고리에 대해 성능이 본 적 있는 카테고리보다著격히 열 劣하는 지속적인 일반화 갭을 해결하기 위해.
• 일반화 갭이 훈련 중 각 카테고리당 데이터 부족 때문인지, 카테고리 다양성 부족 때문인지 파악하기 위해.
• 복잡한 거리 측정 학습 기법에 의존하지 않고도 훈련 카테고리 수를 늘임으로써 제로샷 일반화 성능을 향상시킬 수 있는지 확인하기 위해.
• 다양한 모델, 백본, 데이터셋에 걸쳐 제안된 방법의 강건성을 평가하여 발견의 일반성 확인하기 위해.

제안 방법

• 일반화 성능에 미치는 영향을 평가하기 위해 점점 더 많은 객체 카테고리 수를 가진 데이터셋에서 일회성 객체 검출 모델을 훈련시키기 위해.
• 데이터 양을 제어하기 위해 총 훈련 데이터 양은 일정하게 유지하면서 오직 서로 다른 카테고리 수만 변화시키기 위해.
• 표준 객체 검출 아키텍처와 표준 훈련 프로토콜을 사용하여, 모델 복잡성보다는 카테고리 다양성의 영향에 집중하기 위해.
• 일반화 갭과 그 감소 정도를 측정하기 위해 본 적 있는 카테고리와 본 적 없는 카테고리 모두에서 성능 평가하기 위해.
• 다양한 백본과 데이터셋을 통해 결과를 비교하여 효과의 일관성 검증하기 위해.
• 제로샷 일반화 성능을 본 적 있는 카테고리에서의 검출 AP 대비 본 적 없는 카테고리에서의 검출 AP 비율로 측정하기 위해.

실험 결과

연구 질문

• RQ1 훈련 중 객체 카테고리 수를 늘임으로써 일회성 객체 검출에서 일반화 갭이 감소하는가?
• RQ2 일반화 성능 향상은 총 훈련 데이터 양이 아닌 카테고리 수 때문인가?
• RQ3 관측된 효과가 다양한 모델 아키텍처와 백본 네트워크에서도 유지되는가?
• RQ4 이 간단한 스케일링 전략이 복잡한 거리 측정 학습 기법에 의존하는 최신 기법들을 능가할 수 있는가?
• RQ5 카테고리 다양성이 본 적 있는 클래스에서 본 적 없는 클래스로의 제로샷 일반화를 어느 정도 향상시키는가?

주요 결과

• 훈련 중 카테고리 수를 늘임으로써 일회성 객체 검출에서 일반화 갭이 크게 감소함.
• COCO에서 AP50가 22.0에서 27.5로 향상되어 이전 최고 성능 대비 5.4%포인트 향상됨.
• 본 적 있는 클래스에서 본 적 없는 클래스로의 제로샷 일반화 성능이 45%에서 89%로 향상됨.
• 통제된 아블레이션을 통해 데이터 양이 아닌 카테고리 수가 원인임이 입증됨.
• 다양한 모델, 백본, 데이터셋에서 효과가 일관되게 유지되어 광범위한 적용 가능성이 있음.
• 결과적으로, 소수의 검출에 있어 복잡한 거리 측정 학습보다는 카테고리 다양성의 스케일링이 더 효과적일 수 있음.