[논문 리뷰] Label, Verify, Correct: A Simple Few Shot Object Detection Method

Prannay Kaul, Weidi Xie외 1명|arXiv (Cornell University)|2021. 12. 10.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 단지 몇 개의 레이블링된 예시만을 사용하여도 새로운 카테고리의 객체 검출 성능을 향상시킬 수 있는 간단하면서도 효과적인 few-shot 객체 검출 방법인 'Label, Verify, Correct'를 제안한다. k-NN 분류기를 활용한 반복적인 레이블 검증을 통해 고품질의 가짜 앤커테이션을 생성하고, 전용 회귀기를 통한 바운딩 박스 보정을 통해 새로운 클래스에 대한 재현율과 정밀도를 크게 향상시키면서도 기본 클래스 성능을 유지한다. 이로 인해 PASCAL VOC 및 MS-COCO 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The objective of this paper is few-shot object detection (FSOD) -- the task of expanding an object detector for a new category given only a few instances for training. We introduce a simple pseudo-labelling method to source high-quality pseudo-annotations from the training set, for each new category, vastly increasing the number of training instances and reducing class imbalance; our method finds previously unlabelled instances. Naïvely training with model predictions yields sub-optimal performance; we present two novel methods to improve the precision of the pseudo-labelling process: first, we introduce a verification technique to remove candidate detections with incorrect class labels; second, we train a specialised model to correct poor quality bounding boxes. After these two novel steps, we obtain a large set of high-quality pseudo-annotations that allow our final detector to be trained end-to-end. Additionally, we demonstrate our method maintains base class performance, and the utility of simple augmentations in FSOD. While benchmarking on PASCAL VOC and MS-COCO, our method achieves state-of-the-art or second-best performance compared to existing approaches across all number of shots.

연구 동기 및 목표

• 기본 카테고리에서의 성능를 유지하면서도 1~30개의 레이블링된 예시만으로도 새로운 객체 카테고리의 검출을 수행할 수 있는 few-shot 객체 검출(FSOD) 문제를 해결하기 위해.
• 새로운 클래스가 극도로 부족한 상황에서 발생하는 supervision collapse와 심각한 클래스 불균형 문제를 극복하기 위해.
• 전용 검증 및 보정 단계를 통해 클래스 레이블과 바운딩 박스 좌표를 정밀하게 보완하여 새로운 클래스에 대한 가짜 앤커테이션의 품질을 향상시키기 위해.
• 이전 연구에서 다소 간과되었던 aggressive data augmentation 전략이 few-shot 객체 검출에서 어떻게 기여하는지 규명하기 위해.
• 모든 샷 설정(1~30샷)에서 PASCAL VOC 및 MS-COCO 벤치마크에서 최신 기술 수준 또는 2위 성능을 달성하기 위해.

제안 방법

• 기본 카테고리에서 훈련된 기준 Faster R-CNN 검출기를 사용하여 전체 훈련 세트에서 새로운 카테고리에 대한 노이즈가 섞인 후보 검출 결과를 생성한다.
• 소수의 few-shot 앤커테이션에서 추출한 self-supervised 특징을 기반으로 훈련된 k-NN 분류기가 후보의 클래스 레이블을 검증하여 예측이 일치하지 않는 잘못된 예측(가짜 양성)을 걸러낸다.
• 검증된 후보의 바운딩 박스 좌표를 보정하기 위해 전용 박스 회귀기를 훈련하여 국소화 정확도를 크게 향상시킨다.
• 최종적으로 고정밀도의 가짜 앤커테이션과 원본 기반 카테고리의 진짜 앤커테이션을 결합하여 검출기를 엔드 투 엔드로 재훈련한다.
• 제한된 새로운 카테고리 데이터에서의 과적합을 줄이고 일반화 성능을 향상시키기 위해 aggressive data augmentation을 활용한다.
• 전체 파이프라인—레이블링, 검증, 보정—은 표준 두 단계 검출기인 Faster R-CNN과 호환되도록 단순하고 간결하게 설계되어 있다.

실험 결과

연구 질문

• RQ1 고정밀도 앤커테이션을 사용한 가짜 레이블링이 새로운 클래스에 대한 few-shot 객체 검출 성능을 크게 향상시킬 수 있는가?
• RQ2 사람이 레이블링한 데이터에 의존하지 않고도 가짜 앤커테이션의 클래스 레이블 오류를 효과적으로 줄일 수 있는가?
• RQ3 전용 박스 보정 모듈이 가짜 앤커테이션 인스턴스의 바운딩 박스 예측 품질을 향상시킬 수 있는가?
• RQ4 aggressive data augmentation 전략이 객체 검출에서 few-shot 일반화 능력에 얼마나 기여하는가?
• RQ5 제안된 방법은 새로운 클래스의 검출 성능 향상과 함께 기본 카테고리 성능도 유지하는가?

주요 결과

• 30샷 설정에서 MS-COCO 벤치마크에서 제안된 방법은 새로운 클래스에 대해 57.6 mAP(mean average precision)를 달성했으며, 동일 조건에서 기준 모델의 44.2 mAP보다 뚜렷이 높았다.
• PASCAL VOC에서 ResNet-101을 사용한 30샷 설정에서 새로운 클래스에 대해 59.6 mAP를 기록했으며, 모든 샷 설정에서 최신 기술 수준 또는 2위 성능을 달성했다.
• IoU=0.75 조건에서의 정밀도-재현율 곡선 분석 결과, 가짜 레이블링 파이프라인 적용 후 새로운 클래스에 대해 정밀도와 재현율 양측 모두에서 뚜렷한 향상이 관찰되었다.
• 제거 실험(ablation study) 결과, 레이블 검증과 상자 보정 단계 모두가 필수적인 요소임을 확인했으며, 둘 중 하나라도 생략할 경우 성능이 크게 떨어졌다.
• 기본 카테고리 성능은 강력하게 유지되었으며, 엔드 투 엔드 재훈련 과정에서 supervision collapse로 인한 성능 저하가 발생하지 않았다.
• aggressive data augmentation 전략은 일반화 성능 향상에 결정적인 역할을 하였으며, 가짜 레이블링과 함께 사용했을 때 뚜렷한 성능 향상이 관찰되었다.