[논문 리뷰] Re-examining Distillation For Continual Object Detection

Eli Verwimp, Kuo Yang외 6명|arXiv (Cornell University)|2022. 04. 04.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 Faster-ILOD와 같은 디스틸레이션 기반 지속적 객체 검출 방법이 주로 교육자 예측이 과도하게 확신적이고 잘못된 경우에 분류 헤드에서 치명적인 기억 상실을 겪는다는 점을 규명한다. 지도 학습 박스를 사용해 잘못된 교육자 출력을 걸러내고, 평균 제곱 오차를 강력한 Huber 손실로 대체함으로써 선택적 디스틸레이션을 도입함으로써, 저자들은 VOC 및 COCO 벤치마크에서 최신 기술 수준의 성능을 달성하여 mAP를 최대 3.8 포인트 향상시켰다.

ABSTRACT

Training models continually to detect and classify objects, from new classes and new domains, remains an open problem. In this work, we conduct a thorough analysis of why and how object detection models forget catastrophically. We focus on distillation-based approaches in two-stage networks; the most-common strategy employed in contemporary continual object detection work.Distillation aims to transfer the knowledge of a model trained on previous tasks -- the teacher -- to a new model -- the student -- while it learns the new task. We show that this works well for the region proposal network, but that wrong, yet overly confident teacher predictions prevent student models from effective learning of the classification head. Our analysis provides a foundation that allows us to propose improvements for existing techniques by detecting incorrect teacher predictions, based on current ground-truth labels, and by employing an adaptive Huber loss as opposed to the mean squared error for the distillation loss in the classification heads. We evidence that our strategy works not only in a class incremental setting, but also in domain incremental settings, which constitute a realistic context, likely to be the setting of representative real-world problems.

연구 동기 및 목표

• 디스틸레이션 기반 지속적 객체 검출 모델이 이전 지식을 치명적으로 상실하는 이유를 분석하는 것.
• 디스틸레이션을 통한 지속적 학습 중 분류 헤드에서 기억 상실의 근본 원인을 규명하는 것.
• 기존 디스틸레이션 기법의 한계, 특히 잘못된 확신적인 교육자 예측에 의존하는 점을 규명하는 것.
• 오류 있는 교육자 출력으로부터 간섭을 최소화하면서 지식 전이를 향상시키는 개선 방법을 제안하는 것.
• 재현 메모리 없이도 클래스 인크리멘탈 지속적 객체 검출에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 과제별 바운딩 박스 애너테이션을 사용해 잘못된 교육자 예측을 탐지하고 분류 헤드에서의 영향도를 낮추는 선택적 디스틸레이션을 제안한다.
• 표준 평균 제곱 오차(MSE) 디스틸레이션 손실을 노이즈가 많거나 잘못된 교육자 출력에 더 강건한 적응형 Huber 손실로 대체한다.
• 최신 기술 수준의 디스틸레이션 기반 지속적 객체 검출 방법인 Faster-ILOD 프레임워크에 수정된 디스틸레이션 손실을 통합한다.
• 새로운 과제의 지도 레이블과 교육자 모델로부터 수정된 디스틸레이션 신호를 모두 사용해 학생 모델을 훈련시킨다.
• 기억 상실이 가장 심각한 분류 헤드에 집중하여, 이중 단계 객체 검출기에서 메서드를 종단 간(end-to-end)으로 적용한다.
• 다양한 과제 시퀀스를 포함한 클래스 인크리멘탈 설정에서 표준 벤치마크인 VOC와 COCO에서 메서드를 평가한다.

실험 결과

연구 질문

• RQ1 왜 디스틸레이션 기반 지속적 객체 검출 모델은 분류 헤드에서 치명적인 기억 상실을 겪는가?
• RQ2 과도하게 확신적일지라도 잘못된 교육자 예측이 디스틸레이션 과정에서 학생 모델 학습에 부정적인 영향을 미치는 방식은 무엇인가?
• RQ3 오류 있는 교육자 예측을 걸러내는 것으로 지식 전이 향상과 기억 상실 감소에 어느 정도 기여할 수 있는가?
• RQ4 디스틸레이션 손실에서 평균 제곱 오차를 Huber 손실로 대체하면 지속적 객체 검출에서 강건성과 성능 향상에 기여하는가?
• RQ5 제안된 수정 사항이 재현 메모리에 의존하지 않고도 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 VOC 10+10 벤치마크에서 mAP를 3.4 포인트 향상시키고, 15+5에서는 1.6 포인트, 19+1에서는 3.8 포인트 향상시켜 Faster-ILOD 및 ORE, Meta와 같은 최신 기술 수준의 방법을 모두 능가한다.
• COCO 40+40에서 메서드는 mAP 26.4(AP), 44.3(AP50), 27.4(AP75)의 성능을 기록하며, 재현 메모리 없이도 Faster-ILOD와 Meta를 능가한다.
• 절연 분석 결과, 선택적 디스틸레이션과 Huber 손실이 각각 성능 향상에 기여하며, 이 둘의 조합이 VOC10+10에서 최고의 성능을 낸다.
• 두 번째 과제에서의 분류 오류 수가 Faster-ILOD 대비 거의 반으로 줄었고, 첫 번째 과제의 성능는 98% 유지하였다.
• 지도 학습 바운딩 박스를 사용해 잘못된 교육자 예측을 걸러내는 것으로, 분류 헤드에서의 기억 상실을 효과적으로 완화하였다.
• 제안된 수정 사항은 다양한 데이터셋과 벤치마크에서 일관된 성능 향상을 보이며, 수정 사항의 일반화 능력을 입증한다.