[논문 리뷰] Incremental-DETR: Incremental Few-Shot Object Detection via Self-Supervised Learning

Na Dong, Yongqiang Zhang외 2명|arXiv (Cornell University)|2022. 05. 09.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 자기지도 학습과 지식 정복을 활용하여 극소수의 새로운 클래스 샘플에서 학습할 때 치명적인 잊음과 과적합을 완화하는 새로운 프레임워크인 Incremental-DETR를 제안한다. 클래스에 독립적인 구성요소(백본, 트랜스포머, 회귀 헤드)를 동결하면서 클래스에 특화된 구성요소(프로젝션 및 분류 헤드)만 미세조정하고, 선택적 검색을 통해 생성된 가짜 앵커파일을 자기지도 학습에 활용함으로써 COCO와 VOC에서 1-, 5-, 10-shot 설정에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Incremental few-shot object detection aims at detecting novel classes without forgetting knowledge of the base classes with only a few labeled training data from the novel classes. Most related prior works are on incremental object detection that rely on the availability of abundant training samples per novel class that substantially limits the scalability to real-world setting where novel data can be scarce. In this paper, we propose the Incremental-DETR that does incremental few-shot object detection via fine-tuning and self-supervised learning on the DETR object detector. To alleviate severe over-fitting with few novel class data, we first fine-tune the class-specific components of DETR with self-supervision from additional object proposals generated using Selective Search as pseudo labels. We further introduce an incremental few-shot fine-tuning strategy with knowledge distillation on the class-specific components of DETR to encourage the network in detecting novel classes without forgetting the base classes. Extensive experiments conducted on standard incremental object detection and incremental few-shot object detection settings show that our approach significantly outperforms state-of-the-art methods by a large margin.

연구 동기 및 목표

• 기초 클래스 데이터에 접근할 수 없고, 새로운 클래스에 대한 레이블이 극소수 뿐인 상황에서의 점진적 극소수 객체 검출 문제를 해결한다.
• 기초 클래스 지식을 유지하면서 새로운 클래스에 적응함으로써 극소수 학습 환경에서 치명적인 잊음과 과적합 문제를 해결한다.
• 객체 제안에서 유도된 자기지도 신호를 효과적으로 활용하여, 점진적 미세조정 전에 클래스에 특화된 구성요소를 사전 학습하는 방법을 개발한다.
• DETR 아키텍처에서 클래스에 독립적이고 클래스에 특화된 학습 구성요소를 분리하여, 낮은 데이터 환경에서의 일반화 능력과 강건성을 향상시킨다.
• 교차 데이터셋 평가를 통해 도메인 일반화 능력을 확보하고, COCO에서 VOC로의 전이 성능 저하를 최소화한다.

제안 방법

• 실험적 부정성 분석을 통해 DETR의 클래스에 특화된 구성요소(프로젝션 레이어 및 분류 헤드)와 클래스에 독립적인 구성요소(CNN 백본, 트랜스포머 인코더-디코더, 회귀 헤드)를 식별한다.
• 이중 단계 미세조정을 적용한다: 첫 번째 단계에서는 기초 데이터에 대한 자기지도 학습을 통해 가짜 레이블이 포함된 프로젝션 레이어와 분류 헤드를 사전 학습하고, 두 번째 단계에서는 극소수의 새로운 클래스 데이터에서만 클래스에 특화된 구성요소만 미세조정한다.
• 사전 학습 단계에서 선택적 검색을 통해 추가적인 객체 제안을 생성하여 가짜 정답으로 활용함으로써 클래스에 특화된 헤드의 자기지도 학습을 지원하고, 제한된 데이터에서의 과적합을 줄인다.
• 점진적 미세조정 단계에서 지식 정복을 적용하여 기초 모델의 지식을 새로운 모델로 이관함으로써 기초 클래스의 성능 유지를 달성한다.
• 모든 단계에서 클래스에 독립적인 구성요소를 동결하여 치명적인 잊음을 방지하고 새로운 클래스에 대한 학습 안정성을 확보한다.
• 첫 번째 단계에서는 가짜 레이블과 실제 레이블 모두에 대해 표준 DETR 손실을 다중 과제 학습 방식으로 적용하고, 두 번째 단계에서는 실제 새로운 클래스 레이블만 사용한다.

실험 결과

연구 질문

• RQ1 가짜 레이블이 포함된 객체 제안에서 자기지도 학습이 극소수 객체 검출에서 일반화 능력 향상과 과적합 감소에 기여하는가?
• RQ2 극소수의 새로운 클래스 샘플에서만 미세조정할 경우 지식 정복이 기초 클래스 성능 유지에 얼마나 효과적인가?
• RQ3 클래스에 독립적이고 클래스에 특화된 학습 구성요소를 분리하는 것이 종래의 엔드 투 엔드 미세조정 대비 점진적 극소수 객체 검출 성능 향상에 기여하는가?
• RQ4 새로운 데이터 분포가 기초 데이터와 다를 경우 교차 데이터셋 환경에서 이 방법의 일반화 능력은 어느 정도인가?
• RQ5 점진적 미세조정 중 클래스에 독립적인 구성요소를 동결하는 것이 치명적인 잊음과 총합 검출 정확도에 어떤 영향을 미치는가?

주요 결과

• COCO 데이터셋에서 1-shot 설정에서 Incremental-DETR는 22.5% AP와 36.0% AP50를 기록하며, iMTFA(21.7% AP, 31.6% AP50)를 크게 앞서 간다.
• 5-shot 설정에서는 24.9% AP와 39.6% AP50를 달성하여 iMTFA(19.6% AP, 28.1% AP50)를 초월한다.
• 10-shot 설정에서는 24.1% AP와 38.6% AP50를 기록하며, iMTFA(19.3% AP, 27.5% AP50)를 크게 뛰어넘는다.
• 교차 데이터셋 VOC 벤치마크에서 5-shot 설정에서는 16.6% AP를 기록하며 ONCE(2.4% AP)를 크게 앞서고, 10-shot 설정에서는 24.6% AP를 달성한다.
• 부정성 연구 결과, 클래스에 독립적인 구성요소를 동결하고, 자기지도 학습이 포함된 이중 단계 미세조정이 성능 향상에 핵심적임을 확인하였으며, 이 요소들을 제거할 경우 정확도가 크게 하락한다.
• 통합 자기지도 학습과 기초 데이터 학습을 동시에 수행하는 단일 단계 사전 학습은 이중 단계 접근에 비해 성능이 열 劣하며, 기초 클래스의 경우 28.3% AP를 기록하는 데에 그치지만, 이중 단계 설정에서는 30.5% AP를 기록한다.