[논문 리뷰] Towards Generalized and Incremental Few-Shot Object Detection

Yiting Li, Haiyue Zhu외 5명|arXiv (Cornell University)|2021. 09. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 24인용 수 6

한 줄 요약

이 논문은 기존 클래스와 새로운 클래스의 특징 학습을 분리하여 치명적 기억 상실을 완화하고 일반화 성능을 향상시키기 위해 기반 클래스와 신규 클래스의 특징 학습을 분리하는 새로운 증분 소수 샘플 객체 검출(iFSOD) 프레임워크인 더블브랜치 프레임워크(DBF)를 제안한다. 안정된 모멘트 매칭(SMM)을 통한 매개변수 안정성 확보와 상호작용 태스크 클래스 분리 손실을 통한 특징 분류 성능 향상으로 인해, 기존 최고 성능(SOTA) 대비 10샷 설정에서 mAP를 2.4 포인트 향상시키며 기반 클래스 정확도를 유지하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Real-world object detection is highly desired to be equipped with the learning expandability that can enlarge its detection classes incrementally. Moreover, such learning from only few annotated training samples further adds the flexibility for the object detector, which is highly expected in many applications such as autonomous driving, robotics, etc. However, such sequential learning scenario with few-shot training samples generally causes catastrophic forgetting and dramatic overfitting. In this paper, to address the above incremental few-shot learning issues, a novel Incremental Few-Shot Object Detection (iFSOD) method is proposed to enable the effective continual learning from few-shot samples. Specifically, a Double-Branch Framework (DBF) is proposed to decouple the feature representation of base and novel (few-shot) class, which facilitates both the old-knowledge retention and new-class adaption simultaneously. Furthermore, a progressive model updating rule is carried out to preserve the long-term memory on old classes effectively when adapt to sequential new classes. Moreover, an inter-task class separation loss is proposed to extend the decision region of new-coming classes for better feature discrimination. We conduct experiments on both Pascal VOC and MS-COCO, which demonstrate that our method can effectively solve the problem of incremental few-shot detection and significantly improve the detection accuracy on both base and novel classes.

연구 동기 및 목표

• 순차적이고 소수 샘플의 새로운 클래스로 구성된 데이터에서 기반 클래스에 대한 치명적 기억 상실 문제를 해결하기 위해.
• 이전에 학습된 기반 클래스의 검출 성능을 유지하면서 새로운 소수 샘플의 새로운 클래스에 적응하기 위해.
• 안정적인 지속적 학습을 통해 저데이터 환경에서 일반화 능력과 특징 분류 능력을 향상시키기 위해.
• 자율주행 및 로봇 공학 등 데이터가 부족한 환경에서 실생활에 객체 검출기를 구현하기 위해.

제안 방법

• 기반 클래스와 새로운 클래스의 특징 표현 학습을 분리하여 지식 유지와 새로운 클래스 적응을 별도로 최적화할 수 있도록 하는 더블브랜치 프레임워크(DBF)를 도입한다.
• 지속적인 미세조정 중 매개변수 업데이트를 제약하기 위해 안정된 모멘트 매칭(SMM) 기법을 사용하여 평탄한 국소 최소값을 촉진하고 특징 이탈을 감소시킨다.
• 매개변수 이동량을 제한하는 점진적 모델 업데이트 규칙을 적용하여 오래된 클래스의 장기 기억을 유지한다.
• 오래된 클래스와 새로운 클래스의 임베딩 간 거리를 크게 유지함으로써 특징 분류 능력을 향상시키기 위해 상호작용 태스크 클래스 분리 손실을 적용한다.
• 완전한 애너테이션을 필요로 하지 않으면서도 저데이터 환경에서 특징 품질을 향상시키기 위해 준감독 객체 마이닝(SSOM)을 사용한다.
• SMM와 클래스 대표자(CR) 학습을 결합하여 원본 이미지를 저장하지 않고도 오래된 클래스의 효과적이고 압축된 표현을 유지한다.

실험 결과

연구 질문

• RQ1 기반 클래스의 치명적 기억 상실 없이 순차적이고 소수 샘플의 새로운 클래스에 대해 단일 검출기를 효과적으로 미세조정할 수 있는가?
• RQ2 특징 표현을 어떻게 분리하여 오래된 지식을 유지하면서 동시에 새로운 클래스에 적응할 수 있는가?
• RQ3 어떤 학습 전략이 소수 샘플 조건에서 최소한의 과적합을 유발하면서도 안정적인 지속적 학습을 가능하게 하는가?
• RQ4 상호작용 태스크 클래스 분리가 특징 분류 능력과 검출 정확도 향상에 얼마나 기여하는가?
• RQ5 MS-COCO에서 사전학습하고 Pascal VOC에서 미세조정했을 때, 제안된 방법이 도메인 간 전이에서 얼마나 잘 일반화되는가?

주요 결과

• MS-COCO에서 그룹별 증분 설정에서 10샷 검출 시 제안된 방법은 23.7 mAP를 달성하여 이전 최고 성능(IMTFA)보다 11.3 mAP 포인트 높은 성능을 보였다.
• 클래스별 증분 설정에서 10샷 검출 시 기존 최고 성능(SOTA) 대비 mAP를 2.4 포인트 향상시켜 장기 기억 유지 능력 향상을 입증했다.
• SMM 기법은 임베딩 공간 내 특징 이탈을 감소시켜 클래스 대표자(CR)의 효과적 활용을 가능하게 하며 원본 이미지 저장이 필요 없음을 보여주었다.
• 상호작용 태스크 클래스 분리 손실은 교차엔트로피만 사용하는 것보다 일관되게 성능 향상을 이끌어내었으며, 더 압축되고 분류 능력이 뛰어난 내부 클래스 표현을 형성했다.
• MS-COCO에서 사전학습하고 Pascal VOC로의 도메인 간 전이 시, 5샷에서는 12.5 mAP, 10샷에서는 23.7 mAP를 기록하여 도메인 간 전이에서도 뛰어난 일반화 능력을 입증했다.
• 백본의 더 깊은 레이어를 미세조정(ROI 특징 추출기 해제)하면 새로운 클래스 검출 성능은 9.9에서 12.3 mAP로 향상되나 치명적 기억 상실이 발생한다. 제안된 방법은 이 상호 간의 상충 관계를 성공적으로 완화했다.