[논문 리뷰] Class-Incremental Few-Shot Object Detection

Pengyang Li, Yanan Li외 2명|arXiv (Cornell University)|2021. 05. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 22인용 수 13

한 줄 요약

이 논문은 기존 기반 클래스의 지각을 최소화하고 자원 소비를 줄이며 전이 능력을 향상시키는 데 초점을 맞춘, 클래스 증분 소수 객체 검출을 위한 새로운 방법인 LEAST를 제안한다. 특징 추출기의 분리, 자원 소비가 적은 지식 정착, 그리고 군집 기반의 예시 선택을 통해 LEAST는 소수의 예시로 증분 설정에서 COCO에서 조화 평균 AP 18.2와 AR 33.9의 최신 기술 수준 성능을 달성한다.

ABSTRACT

Conventional detection networks usually need abundant labeled training samples, while humans can learn new concepts incrementally with just a few examples. This paper focuses on a more challenging but realistic class-incremental few-shot object detection problem (iFSD). It aims to incrementally transfer the model for novel objects from only a few annotated samples without catastrophically forgetting the previously learned ones. To tackle this problem, we propose a novel method LEAST, which can transfer with Less forgetting, fEwer training resources, And Stronger Transfer capability. Specifically, we first present the transfer strategy to reduce unnecessary weight adaptation and improve the transfer capability for iFSD. On this basis, we then integrate the knowledge distillation technique using a less resource-consuming approach to alleviate forgetting and propose a novel clustering-based exemplar selection process to preserve more discriminative features previously learned. Being a generic and effective method, LEAST can largely improve the iFSD performance on various benchmarks.

연구 동기 및 목표

• 새로운 클래스에 대해 각각 소수의 레이블이 부여된 예시만을 사용할 때 기반 클래스의 치명적인 지각을 방지하면서 증분 객체 검출의 과제를 해결한다.
• 기존 방법들이 기반 지식을 잊거나 증분 학습 중에 과도한 학습 자원을 요구하는 한계를 극복한다.
• 기반 클래스와 신규 클래스 양쪽에서 순차적 학습 환경에서 성능를 균형 있게 유지하는 일반적이고 효율적인 프레임워크를 개발한다.
• 전이 과정에서 불필요한 가중치 적응을 최소화하여 전이 능력을 향상시키고 자원 요구량을 줄인다.
• 기반 클래스의 분류 능력을 유지하기 위해 대표 예시 선택 전략을 사용하여 기반 클래스의 분류 특징을 보존한다.

제안 방법

• 기본 검출기에서 클래스 민감도가 있는 객체 특징 추출기를 분리하여 증분 학습 중 불필요한 가중치 적응을 줄이고 전이 능력을 향상시킨다.
• 자원 소비가 적은 경량적이고 효율적인 방법을 사용해 지식 정착을 통합하여 사전 훈련된 모델의 분류 분포를 유지하고 지각을 완화한다.
• 기반 클래스의 특징을 잘 반영하고 내부 클래스 변동성과 분포 모드를 포괄하는 소수의 대표적 기반 클래스 특징을 선택하기 위해 군집 기반의 예시 선택 알고리즘을 제안한다.
• 신규 클래스를 하나씩 소수의 레이블이 부여된 샘플만으로 도입하는 순차적 학습 파이프라인에 제안된 전이 전략을 적용한다.
• 학생 검출기의 출력을 교사의 지식과 일치시키기 위해 정착 손실을 사용하여 증분 업데이트 중 기반 클래스의 성능 유지 보장을 확보한다.
• 전이 전략, 정착, 예시 선택의 세 구성 요소를 통합하여 다양한 벤치마크와 설정에 적용 가능한 유일한 일반 프레임워크로 조합한다.

실험 결과

연구 질문

• RQ1 소수의 레이블 예시만을 사용해 증분적으로 새로운 클래스를 학습할 때 치명적인 지각을 어떻게 줄일 수 있는가?
• RQ2 증분 검출에서 불필요한 가중치 적응을 최소화하면서 전이 능력을 극대화하는 데 가장 효과적인 전이 전략은 무엇인가?
• RQ3 기반 클래스 지식을 유지하면서 학습 자원 소비를 증가시키지 않고 지식 정착을 어떻게 효율적으로 적용할 수 있는가?
• RQ4 소수의 샘플로 기반 클래스의 분포와 내부 클래스 변동성을 가장 잘 반영하는 예시 선택 방법은 무엇인가?
• RQ5 이러한 구성 요소를 통합한 통합 프레임워크는 소수 및 지속적인 증분 학습 설정에서 기존 최고 수준의 방법을 뛰어넘을 수 있는가?

주요 결과

• LEAST는 10-shot 학습 조건에서 COCO에서 조화 평균 AP 18.2와 AR 33.9를 달성하여 TFA 및 ONCE와 같은 이전 방법들을 크게 앞서며 뛰어난 성능을 보였다.
• 제안된 전이 전략(FIT_CSE)은 기본 설정인 FIX_ALL 대비 1.8 AP와 1.9 AR 향상을 보이며 불필요한 가중치 적응 감소와 더 강력한 전이 능력을 입증했다.
• 지식 정착(손실은 $d$로 표기)은 정착 없이 학습한 경우 대비 신규 클래스 AP를 2.4 포인트 향상시켜 지각 완화 효과를 효과적으로 입증했다.
• 군집 기반 예시 선택($e$)은 무작위 선택($e_r$) 대비 1.6 포인트, 평균 클래스 선택($e_a$) 대비 0.8 포인트 조화 평균 AP 향상을 보이며 기반 클래스 특징의 더 나은 표현 능력을 입증했다.
• 지속적 학습 환경에서 LEAST는 20개의 증분 단계 동안 안정적인 성능 유지를 보였고, 예시 없이 학습한 LEAST-NE는 AP 12.1과 AR 26.5로 성능 저하를 보이며 예시 선택의 필요성을 확인했다.
• MS-COCO에서 Pascal VOC로의 교차 도메인 전이에서 LEAST는 AP 18.2와 AR 33.9를 달성하여 경쟁자들을 뛰어넘었으며, 일반화 능력과 강건성을 검증했다.