[논문 리뷰] Revisiting Knowledge Distillation for Object Detection

Amin Banitalebi-Dehkordi|arXiv (Cornell University)|2021. 05. 22.

Advanced Neural Network Applications참고 문헌 39인용 수 6

한 줄 요약

이 논문은 객체 검출을 위한 분리형 지식 정복 프레임워크를 제안한다. 이 방법은 먼저 레이블이 없는 데이터에서 교사 모델이 생성한 가짜 레이블을 사용해 학생 모델을 훈련한 후, 레이블이 있는 데이터로 미세조정한다. 이 방법은 더 적은 레이블로도 성능 향상을 이끌어내며, 겹치지 않는 객체 클래스를 가진 다수의 교사 모델을 활용한 정복을 지원하고 도메인 적응도 가능하다. 레이블이 20%에 불과한 COCO에서 레이블이 없는 데이터와 조합했을 때 mAP가 62.69%에 도달한다.

ABSTRACT

The existing solutions for object detection distillation rely on the availability of both a teacher model and ground-truth labels. We propose a new perspective to relax this constraint. In our framework, a student is first trained with pseudo labels generated by the teacher, and then fine-tuned using labeled data, if any available. Extensive experiments demonstrate improvements over existing object detection distillation algorithms. In addition, decoupling the teacher and ground-truth distillation in this framework provides interesting properties such: as 1) using unlabeled data to further improve the student's performance, 2) combining multiple teacher models of different architectures, even with different object categories, and 3) reducing the need for labeled data (with only 20% of COCO labels, this method achieves the same performance as the model trained on the entire set of labels). Furthermore, a by-product of this approach is the potential usage for domain adaptation. We verify these properties through extensive experiments.

연구 동기 및 목표

• 기존의 객체 검출 정복 방법이 훈련 중에 교사 모델과 진짜 레이블이 모두 필요로 하는 한계를 해결하기 위해.
• 완전한 레이블 데이터셋에 접근할 수 없지만 사전 학습된 교사 모델만 이용 가능한 상황에서도 효과적인 정복을 가능하게 하기 위해.
• 다른 아키텍처와 객체 카테고리를 가진 여러 교사 모델을 하나의 학생 모델 훈련에 효과적으로 융합할 수 있는지 탐색하기 위해.
• 레이블이 없는 데이터가 초과 학습된 학생의 일반화 능력을 향상시키는 데 기여하는지 조사하기 위해.
• 저자원 또는 도메인 이동된 환경에서 이 방법이 도메인 적응에 얼마나 기여할 수 있는지 평가하기 위해.

제안 방법

• 학생 모델은 먼저 레이블이 없는 데이터 풀에서 교사 모델이 생성한 가짜 레이블을 사용해 훈련되며, 이는 정복 과정을 진짜 레이블 감독에서 분리한다.
• 가짜 레이블은 레이블이 없는 이미지를 교사 모델을 통해 통과시켜 경계 상자, 신뢰도 점수, 클래스 확률을 생성함으로써 생성된다.
• 학생은 경계 상자 예측, 신뢰도 점수, 클래스 확률 측면에서 교사의 출력을 모방하는 정복 손실을 사용해 훈련된다.
• 가짜 레이블 생성 단계에서 특징 매칭과 이mitation 마스킹 기법을 사용하여 생성된 레이블의 품질을 향상시킨다.
• 비지도 정복 이후, 가용한 경우 레이블된 데이터의 일부를 사용해 학생을 미세조정함으로써 성능을 추가로 향상시킨다.
• 다중 교사 정복을 위해, 여러 교사의 예측은 '확인' 전략을 사용해 융합되며, 이는 서로 다른 클래스 간의 겹침이 없더라도 교사 간의 일치가 있으면 유효한 것으로 간주한다.

실험 결과

연구 질문

• RQ1 레이블이 있는 데이터로의 미세조정 이전에, 학생을 교사 모델이 생성한 가짜 레이블로 먼저 훈련하는 것이 정복 성능 향상에 기여하는가?
• RQ2 정복 과정에서 레이블이 없는 데이터를 사용할 경우, 객체 검출 성능에 측정 가능한 향상이 발생하는가?
• RQ3 다른 아키텍처와 객체 카테고리를 가진 여러 교사 모델을 효과적으로 융합해 하나의 학생 모델을 훈련시킬 수 있는가?
• RQ4 레이블이 있는 데이터가 타겟 도메인에서 부족하거나 존재하지 않을 경우, 이 프레임워크가 도메인 적응에 얼마나 효과적으로 기여할 수 있는가?
• RQ5 특징 매칭, 이mitation 마스킹, 경계 상자 매칭 등의 기법이 제안된 프레임워크에서 최종 검출 성능에 어떤 영향을 미치는가?

주요 결과

• COCO 훈련 레이블의 20%만을 사용하고도, 레이블이 없는 데이터와 조합했을 때 평균 mAP가 62.69%에 도달하여 전체 데이터셋으로 훈련된 모델의 성능을 재현한다.
• 여러 교사로부터 비지도 정복 후 레이블된 데이터로 미세조정할 경우, 정복 없이 훈련한 것에 비해 평균 mAP가 2.6% 향상된다.
• 세 명의 교사가 서로 겹치지 않는 객체 클래스(사람-자동차, 자동차-고양이, 사람-자전거)를 검출하는 경우, COCO에서 미세조정 후 학생 모델의 mAP는 60.08%에 도달하여 정복 전용 기반 모델의 52.50%를 초월한다.
• 도메인 적응 상황에서, 낮시간 교사 모델로부터 정복하고 야간 이미지로 미세조정한 결과, mAP가 45.78%에 도달하여 기반 모델의 33.25%를 뛰어넘는다.
• 교사 예측을 융합한 후 NMS를 적용할 경우 성능이 떨어지므로, 노이즈가 있는 가짜 레이블이 학생이 더 강건한 특징을 학습하는 데 도움이 된다는 것을 시사한다.
• 확인 전략을 사용함으로써, 서로 다른 아키텍처와 객체 카테고리를 가진 여러 교사 모델에서 효과적인 정복이 가능하며, 클래스 겹침이 없더라도 성능 향상이 이루어진다.