[논문 리뷰] Two-Level Residual Distillation based Triple Network for Incremental Object Detection

Dongbao Yang, Yu Zhou외 4명|arXiv (Cornell University)|2020. 07. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 17

한 줄 요약

이 논문은 새로운 클래스를 추가할 때 기존 데이터에 접근할 수 없음에도 불구하고 기존 클래스를 잊지 않도록 하는 삼중 네트워크 프레임워크와 이중 수준 잔차 distillation을 제안한다. 이는 고정된 이전 모델과 함께 공동으로 훈련되는 잔차 모델을 사용하여 특징의 분류 능력과 지식을 유지함으로써 Faster R-CNN 모델이 새로운 클래스를 학습할 수 있도록 한다. 이 방법은 VOC2007과 COCO에서 최신 기술 수준의 성능을 달성하며, 치명적인 기억 상실을 최소화한다.

ABSTRACT

Modern object detection methods based on convolutional neural network suffer from severe catastrophic forgetting in learning new classes without original data. Due to time consumption, storage burden and privacy of old data, it is inadvisable to train the model from scratch with both old and new data when new object classes emerge after the model trained. In this paper, we propose a novel incremental object detector based on Faster R-CNN to continuously learn from new object classes without using old data. It is a triple network where an old model and a residual model as assistants for helping the incremental model learning on new classes without forgetting the previous learned knowledge. To better maintain the discrimination of features between old and new classes, the residual model is jointly trained on new classes in the incremental learning procedure. In addition, a corresponding distillation scheme is designed to guide the training process, which consists of a two-level residual distillation loss and a joint classification distillation loss. Extensive experiments on VOC2007 and COCO are conducted, and the results demonstrate that the proposed method can effectively learn to incrementally detect objects of new classes, and the problem of catastrophic forgetting is mitigated in this context.

연구 동기 및 목표

• 기존 학습 데이터에 접근할 수 없는 상황에서 새로운 클래스가 도입될 때 발생하는 치명적인 기억 상실 문제를 해결하기 위해.
• 지속적인 학습 환경에서 이전에 학습된 클래스에 대해 높은 성능를 유지하면서도 새로운 물체 클래스에 적응하기 위해.
• 지속적인 훈련 중에 이전 클래스와 새로운 클래스 간의 특징 분류 능력을 향상시키기 위해.
• 기존 데이터 재학습 없이도 기존 데이터와 새로운 데이터의 지식을 효과적으로 보존할 수 있는 distillation 기반 설계를 위해.
• VOC2007 및 COCO와 같은 지속적 탐지 벤치마크에서 강력한 일반화 및 강인성을 확보하기 위해.

제안 방법

• 기존 모델(OM), 증분 모델, 공동으로 새로운 클래스에 대해 훈련되는 잔차 모델(RM)으로 구성된 삼중 네트워크 아키텍처를 도입한다.
• 기존 모델은 2개의 임계값 전략을 통해 가짜 참조 앵커(annotation)와 지식 distillation 신호를 제공하여 훈련을 안정화시킨다.
• 백본 특징 맵과 풀링된 영역 특징에 대해 이중 수준 잔차 distillation 손실을 적용하여 이전 클래스와 새로운 클래스 간의 특징 분류 능력을 유지한다.
• 증분 모델의 출력 로짓을 기존 모델과 잔차 모델의 출력과 일치시키기 위해 공동 분류 distillation 손실을 사용한다.
• 잔차 모델은 증분 모델과 기존 모델 간의 차이를 학습함으로써 새로운 클래스 적응에 집중함으로써 기억 상실을 완화한다.
• 가짜 레이블의 품질을 향상시키고 기존 클래스에 대한 지식 distillation의 안정성을 높이기 위해 2개의 임계값 훈련 전략을 적용한다.

실험 결과

연구 질문

• RQ1 잔차 모델을 포함한 삼중 네트워크 아키텍처가 지속적 물체 탐지에서 치명적인 기억 상실을 효과적으로 줄일 수 있는가?
• RQ2 이중 수준 잔차 distillation이 이전 클래스와 새로운 클래스 간의 특징 분류 능력을 어떻게 향상시키는가?
• RQ3 기존 모델과 잔차 모델 양쪽에서의 공동 분류 distillation이 단일 소스 distillation에 비해 기여도는 어떠한가?
• RQ4 2개의 임계값 전략이 지속적 훈련 중 기존 클래스에 대한 신뢰할 수 있는 가짜 레이블을 생성하는 데 얼마나 효과적인가?
• RQ5 제안된 방법이 표준 벤치마크에서 기존의 지속적 물체 탐지 기법들에 비해 뛰어난 성능을 달성하는가?

주요 결과

• 10개의 새로운 클래스를 추가했을 때 COCO에서 평균 mAP가 72.13%를 기록하여 베이스라인 방법들을 초월하며 강력한 일반화 능력을 입증했다.
• 이중 수준 잔차 distillation과 공동 분류 distillation의 조합은 10개의 새로운 클래스를 추가할 때 기존 베이스라인 대비 평균 1.65% 향상된 mAP를 기록했다.
• 한 개의 새로운 클래스를 추가할 때 이중 수준 잔차 distillation 손실은 mAP를 평균 2.71% 향상시켰으며, 이는 기존 클래스 성능 유지를 위한 강력한 효과를 보여준다.
• 2개의 임계값 훈련 전략은 평균 0.95% 향상된 mAP를 기록하여 기존 클래스에 대한 지식 distillation의 안정성 향상에 기여함을 확인했다.
• 제안된 L1-노름 특징 distillation을 표준 L1 손실로 대체할 경우 평균 0.94% mAP 감소가 발생하여 설계의 우수성을 검증했다.
• 기존 모델과 잔차 모델 양쪽에서의 공동 distillation은 기존 모델 단독 distillation 대비 mAP를 0.28% 향상시켰으며, 다중 소스 지식 전달의 유용성을 확인했다.