[논문 리뷰] MINI: Mining Implicit Novel Instances for Few-Shot Object Detection

Yuhang Cao, Jiaqi Wang외 2명|arXiv (Cornell University)|2022. 05. 06.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 기존의 기본 클래스 학습 데이터 내에서 레이블이 지정되지 않은 공존하는 새로운 객체들(암묵적 신규 인스턴스)을 오프라인 및 온라인 기반의 방법으로 탐지하는 새로운 프레임워크인 MINI를 제안한다. 자기지도 학습과 교사-학생 업데이트 방식을 활용하여, PASCAL VOC 및 MS-COCO에서 모든 샷 설정에서 검출 성능을 크게 향상시키며, 최대 19.3 AP50 포인트의 절대적 향상으로 새로운 최고 성능 기록을 달성한다.

ABSTRACT

Learning from a few training samples is a desirable ability of an object detector, inspiring the explorations of Few-Shot Object Detection (FSOD). Most existing approaches employ a pretrain-transfer paradigm. The model is first pre-trained on base classes with abundant data and then transferred to novel classes with a few annotated samples. Despite the substantial progress, the FSOD performance is still far behind satisfactory. During pre-training, due to the co-occurrence between base and novel classes, the model is learned to treat the co-occurred novel classes as backgrounds. During transferring, given scarce samples of novel classes, the model suffers from learning discriminative features to distinguish novel instances from backgrounds and base classes. To overcome the obstacles, we propose a novel framework, Mining Implicit Novel Instances (MINI), to mine the implicit novel instances as auxiliary training samples, which widely exist in abundant base data but are not annotated. MINI comprises an offline mining mechanism and an online mining mechanism. The offline mining mechanism leverages a self-supervised discriminative model to collaboratively mine implicit novel instances with a trained FSOD network. Taking the mined novel instances as auxiliary training samples, the online mining mechanism takes a teacher-student framework to simultaneously update the FSOD network and the mined implicit novel instances on the fly. Extensive experiments on PASCAL VOC and MS-COCO datasets show MINI achieves new state-of-the-art performance on any shot and split. The significant performance improvements demonstrate the superiority of our method.

연구 동기 및 목표

• 제한된 신규 샷 샘플과 신규 인스턴스를 배경으로 간주함으로써 발생하는 소수 샷 객체 검출기의 낮은 성능 문제를 해결하기 위해.
• 수동 레이블링이 필요 없이, 기본 클래스 데이터셋 내에서 공존하지만 레이블이 지정되지 않은 암묵적 신규 인스턴스를 탐지하고 활용하기 위해.
• 탐지된 암묵적 인스턴스를 통해 신규 클래스, 기본 클래스 및 배경 간의 특징 구분 능력을 향상시켜 학습을 강화하기 위해.
• 자기지도 학습 기반의 반복적 프레임워크를 개발하여, 시간이 지남에 따라 검출기와 탐지된 인스턴스가 함께 동적으로 향상되도록 하기 위해.

제안 방법

• 오프라인 탐지 메커니즘은 사전 학습된 FSOD 모델에서 후보 암묵적 신규 인스턴스를 식별하고 신뢰도 점수를 校정하기 위해 자기지도 학습 기반의 분류 모델(예: MoCo v2)을 사용한다.
• 프레임워크는 하이퍼파라미터 α와 N을 사용하는 가변적 임계값 전략을 도입하여 고신뢰도, 신뢰할 수 있는 암묵적 인스턴스를 필터링한다.
• 온라인 탐지 메커니즘은 교사-학생 프레임워크를 활용하여 학습 도중 검출 네트워크와 탐지된 암묵적 인스턴스를 실시간으로 공동 업데이트한다.
• 학생 네트워크는 원본 신규 샷 데이터와 함께 탐지된 암묵적 인스턴스를 보조 샘플로 사용하여 바운딩 박스와 분류 점수를 예측하도록 훈련된다.
• 하이퍼파라미터 β를 사용하는 신뢰도 기반 IoU 분기 모듈을 도입하여 바운딩 박스 예측을 정밀하게 하고 임의의 양성 예측을 줄인다.
• 전체 파이프라인은 엔드 투 엔드로 훈련되어 검출기와 탐지된 인스턴스가 상호 보완적으로 발전하고 반복적으로 향상될 수 있도록 한다.

실험 결과

연구 질문

• RQ1 기본 클래스 데이터 내에서 공존하지만 레이블이 지정되지 않은 암묵적 신규 인스턴스를 효과적으로 탐지하여 소수 샷 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 오프라인 탐지에서 자기지도 학습 기반 분류 모델(MoCo v2)이 신뢰할 수 있는 암묵적 인스턴스를 식별하는 데 있어 감독 학습 기반 기준보다 우수한가?
• RQ3 검출기와 탐지된 인스턴스를 함께 업데이트하는 교사-학생 프레임워크는 정적 탐지 방식보다 더 우수한 일반화 성능을 보일 수 있는가?
• RQ4 신규 클래스가 훈련 데이터에서 기본 클래스와 공존하지 않을 경우, 이 방법의 성능은 얼마나 견고한가?
• RQ5 다양한 소수 샷 설정에서 최적의 성능을 내는 하이퍼파라미터 설정(α, N, δ, β)은 무엇인가?

주요 결과

• MINI는 모든 샷 설정에서 PASCAL VOC 및 MS-COCO 벤치마크에서 새로운 최고 성능을 달성하며, 최대 19.3 점의 절대적 AP50 향상률 기록을 보였다.
• 1-shot 설정에서 PASCAL VOC에서 MINI는 이전 최고 성능보다 18.4 AP50 포인트 향상되었으며, 저샷 환경에서 뚜렷한 성능 향상을 입증했다.
• 신규 클래스를 기본 데이터셋에서 수동으로 제거한 경우에도, 'Bird'에 대해 5.9 AP50 포인트, 'Bus'에 대해 9.7 AP50 포인트 향상되었으며, 공존 부재 상황에서도 높은 견고성을 입증했다.
• 오프라인 탐지에서 자기지도 학습 기반 분류 모델(MoCo v2)이 감독 학습 기반 ImageNet 미리 학습된 ResNet-50보다 우수한 성능을 보였으며, 특히 1~3샷 설정에서 두드러졌다.
• 절단 실험 결과 δ = 0.7과 β = 0.5가 최적의 성능을 내며, 너무 낮은 δ 값은 과도한 임의의 양성 예측으로 인해 성능 저하를 초래함을 확인했다.
• 하이퍼파라미터 변화에 대해 높은 내성성을 보이며, α와 N 값의 다양한 조합에서도 성능이 상대적으로 안정적이므로 실용적 사용 가능성 높음을 입증했다.