[논문 리뷰] Continual Detection Transformer for Incremental Object Detection

Yaoyao Liu, Bernt Schiele외 2명|arXiv (Cornell University)|2023. 04. 06.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 변환기 기반 모델에서 증분 객체 검출을 위한 새로운 방법인 CL-DETR를 제안한다. 이 방법은 감지기 지식 정복(DKD)과 校정된 예시 재생 전략을 도입하여 치명적인 잊음 문제를 해결한다. DKD는 이전 모델의 가장 확신 있는 전경 예측만 선택적으로 정복하여 잡음이 많은 배경 검출을 방지하고, 校정된 ER은 훈련 데이터의 진짜 클래스 분포를 유지한다. CL-DETR는 COCO 2017에서 최신 기술 성능을 달성하여 직접 KD와 ER을 적용한 경우보다 평균 정밀도(AP)를 4.2%p 향상시켰다.

ABSTRACT

Incremental object detection (IOD) aims to train an object detector in phases, each with annotations for new object categories. As other incremental settings, IOD is subject to catastrophic forgetting, which is often addressed by techniques such as knowledge distillation (KD) and exemplar replay (ER). However, KD and ER do not work well if applied directly to state-of-the-art transformer-based object detectors such as Deformable DETR and UP-DETR. In this paper, we solve these issues by proposing a ContinuaL DEtection TRansformer (CL-DETR), a new method for transformer-based IOD which enables effective usage of KD and ER in this context. First, we introduce a Detector Knowledge Distillation (DKD) loss, focusing on the most informative and reliable predictions from old versions of the model, ignoring redundant background predictions, and ensuring compatibility with the available ground-truth labels. We also improve ER by proposing a calibration strategy to preserve the label distribution of the training set, therefore better matching training and testing statistics. We conduct extensive experiments on COCO 2017 and demonstrate that CL-DETR achieves state-of-the-art results in the IOD setting.

연구 동기 및 목표

• Deformable DETR와 UP-DETR와 같은 최신 변환기 기반 검출기에서 사용할 때 증분 객체 검출(IOD)에서 치명적인 잊음 문제를 해결하기 위해.
• 표준 지식 정복(KD)과 예시 재생(ER)이 예측의 비균형과 왜곡된 클래스 분포로 인해 변환기 검출기에서 실패하는 이유를 해결하기 위해.
• 다양한 단계에서 동일한 이미지가 반복되지 않도록 하여 표준 증분 학습 정의와의 호환성을 확보하는 새로운 IOD 벤치마크 프로토콜을 제안하기 위해.
• 이전 모델의 정보성 높고 확신 있는 전경 예측에만 집중하여 지식 정복을 개선함으로써, 새로운 진짜 레이블과의 갈등을 줄이기 위해.
• 저장된 이미지의 분포가 원래 훈련 세트의 분포와 일치하도록 예시 재생을 校정하여 일반화 능력을 향상시키고 잊음 감소를 개선하기 위해.

제안 방법

• 감지기 지식 정복(DKD)을 도입하여 이전 모델의 상위-K개의 배경이 아닌 예측 중 가장 확신 있는 것을 선택하고, 이를 새로운 진짜 레이블과 함께 훈련 중 이중 매칭에 통합한다.
• 이전 모델의 예측과 새로운 진짜 레이블 애너테이션을 조합한 공동 레이블 세트를 사용하여 표준 객체 검출 훈련을 수행함으로써 일관성 확보 및 갈등 감소.
• 원래 클래스 분포를 따라 훈련 이미지를 선택하여 원래의 클래스 분포를 유지하는 예시 재생을 위한 校정 전략을 구현함.
• 각 단계에서 이중 단계 훈련 프로토콜을 적용: 주 훈련 단계 이후에 모델 예측을 보정하고 잊음을 줄이기 위한 작은 보정 단계를 추가.
• 동일한 이미지가 여러 훈련 단계에 반복되지 않도록 IOD 벤치마크 프로토콜을 수정하여 데이터 泄漏를 방지하고 증분 학습 원칙과의 일치도 향상.
• 이전 모델의 고신뢰도이자 겹치지 않는 검출 결과를 우선시하는 가짜 레이블 선택 메커니즘을 도입하여 신뢰할 수 있는 정복 타겟 생성.

실험 결과

연구 질문

• RQ1 왜 표준 지식 정복(KD)과 예시 재생(ER)은 Deformable DETR와 같은 변환기 기반 객체 검출기에 직접 적용될 경우 실패하는가?
• RQ2 증분 객체 검출에서 이전 모델의 예측과 새로운 진짜 레이블 간의 갈등을 피하기 위해 지식 정복을 어떻게 재구성할 수 있는가?
• RQ3 예시 재생에서 클래스 분포 불일치가 IOD에서 모델 성능과 잊음에 미치는 영향은 무엇인가?
• RQ4 이미지 반복을 방지하는 개선된 IOD 벤치마크 프로토콜은 증분 학습 실험의 타당성과 재현 가능성에 어떤 영향을 미치는가?
• RQ5 DKD에서 사용하는 상위-K개 예측의 수와 같은 초모수 선택에 대해 제안된 방법의 내구성은 어떠한가?

주요 결과

• CL-DETR는 COCO 2017 70+10 IOD 설정에서 Deformable DETR에 대해 직접 KD와 ER을 적용한 경우보다 평균 정밀도(AP)를 4.2%p 향상시켰다.
• 교정된 예시 재생 전략은 기존 ER 대비 잊음 감소 2.1%p를 기록하여 오래된 클래스 성능을 2.1점 향상시켰다.
• DKD에서 상위-10개의 가장 확신 있는 배경이 아닌 예측을 사용할 경우 최고의 성능를 기록하였으며, 다양한 K 값 간의 성능 차이가 오직 0.4%p 이내로 유지되어 내구성이 뛰어나다는 것을 확인했다.
• DKD 손실은 잡음이 많은 배경 예측을 효과적으로 억제하여 정복 지식과 새로운 훈련 신호 간의 갈등을 줄였다.
• 시각화 결과 CL-DETR가 정확한 가짜 레이블을 생성하여 특히 객체 수가 적은 이미지에서 진짜 상자와 잘 일치하는 것으로 확인되었다.
• 개선된 IOD 프로토콜은 단계 간 이미지 반복을 방지하여 벤치마크를 더 현실적으로 만들고 표준 증분 학습 가정과의 호환성을 높였다.