[논문 리뷰] Learning Lightweight Object Detectors via Multi-Teacher Progressive Distillation

Shengcao Cao, Mengtian Li외 4명|arXiv (Cornell University)|2023. 08. 17.

Advanced Neural Network ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 다수의 사전 훈련된 객체 검출기(컨볼루션에서 트랜스포머 기반까지)를 순차적으로 경량 학생 네트워크로 지식을 전이하는 메타 수준 전략인 멀티티처 프로그레시브 디스틸레이션(MTPD)을 제안한다. 중간에서 더 강력한 교사 모델로 점진적으로 디스틸레이션을 통해 아키텍처 및 용량 격차를 메우며, 최신 기술 수준의 정확도를 달성한다: MS COCO에서 ResNet-50 RetinaNet의 AP를 36.5%에서 42.0%로, Mask R-CNN의 AP를 38.2%에서 42.5%로 향상시킨다.

ABSTRACT

Resource-constrained perception systems such as edge computing and vision-for-robotics require vision models to be both accurate and lightweight in computation and memory usage. While knowledge distillation is a proven strategy to enhance the performance of lightweight classification models, its application to structured outputs like object detection and instance segmentation remains a complicated task, due to the variability in outputs and complex internal network modules involved in the distillation process. In this paper, we propose a simple yet surprisingly effective sequential approach to knowledge distillation that progressively transfers the knowledge of a set of teacher detectors to a given lightweight student. To distill knowledge from a highly accurate but complex teacher model, we construct a sequence of teachers to help the student gradually adapt. Our progressive strategy can be easily combined with existing detection distillation mechanisms to consistently maximize student performance in various settings. To the best of our knowledge, we are the first to successfully distill knowledge from Transformer-based teacher detectors to convolution-based students, and unprecedentedly boost the performance of ResNet-50 based RetinaNet from 36.5% to 42.0% AP and Mask R-CNN from 38.2% to 42.5% AP on the MS COCO benchmark.

연구 동기 및 목표

• 복잡하고 길이가 변하는 출력 및 교사와 학생 모델 간의 아키텍처 차이로 인해 성능에 악영향을 미치는 객체 검출에서의 지식 디스틸레이션 문제를 해결한다.
• 특히 트랜스포머 기반에서 컨볼루션 기반 백본으로의 전이 시, 경량 학생과 강력한 복잡한 교사 간의 용량 격차를 극복한다.
• 시험과 오차에 의존하지 않고도 학생 성능을 극대화하기 위해 교사 모델을 선택하고 순서를 정하는 체계적이고 자동화된 방법을 개발한다.
• 예를 들어 Swin Transformer 기반 검출기에서 ResNet-50 기반 학생으로의 이질적인 아키텍처 간 효과적인 디스틸레이션을 가능하게 하며, 이는 이전 방법이 달성하지 못한 바이다.
• 점진적 학습을 통해 학생 모델이 더 평탄한 최소값으로 수렴하도록 유도함으로써 일반화 성능을 향상시킨다.

제안 방법

• 초기에는 덜 강력하지만 더 호환성이 높은 교사에서 시작하여 점차 더 강력하고 복잡한 교사로 이르는 순차적 학습 파이프라인을 설계하여 학생 모델을 훈련시킨다.
• 디스틸레이션 메커니즘에 대한 사전 지식이 필요 없이, 모델 간의 표현 유사도를 기반으로 최적의 교사 순서를 자동으로 결정하는 히우리스틱 알고리즘을 도입한다.
• 중간 특징 맵 간의 정렬을 위해 하이퍼파라미터 λ를 사용하는 특징 매칭 손실을 사용하며, λ는 경험적으로 조정된다(ResNet-50 RetinaNet의 경우 0.5, Mask R-CNN의 경우 0.8).
• 기존의 디스틸레이션 방법(MGD, FGD, CWD 등)과 MTPD를 통합하기 위해, 학생을 초기화할 때 첫 번째 교사의 넥과 헤드 파라미터를 유산 전략으로 한 번만 적용한다.
• Swin Transformer 기반 교사의 계층적 특징 맵이 ResNet 기반 학생의 것과 일치하도록 활용하여, 추가적인 특징 맵 매칭 함수 없이 직접적인 디스틸레이션을 가능하게 한다.
• 모든 모델은 MMDetection를 사용하여 표준 설정으로 훈련한다: 8개 GPU, 12 에포크, COCO의 경우 입력 해상도 1333×800, Argoverse-HD의 경우 1920×1200, SGD와 모멘터럼 0.9를 사용한다.

Figure 1: Our proposed Multi-Teacher Progressive Distillation (MTPD) leads to state-of-the-art student detection performance. When switching the teacher model from a convolution-based detector to a Transformer-based one with stronger detection performance, the student does not become more accurate,

실험 결과

연구 질문

• RQ1 다수의 교사에서 점진적 디스틸레이션은 단일 교사 디스틸레이션을 초월하여 경량 객체 검출기의 성능을 향상시킬 수 있는가?
• RQ2 초기에는 더 호환성이 높은 중간 모델을, 이후에는 더 강력한 최종 교사를 순차적으로 사용하는 디스틸레이션은 이질적인 모델 간의 용량 격차를 메울 수 있는가?
• RQ3 아키텍처의 차이가 있음에도 불구하고 트랜스포머 기반 검출기(Swin Transformer 등)에서 컨볼루션 기반 학생(예: ResNet-50)으로 지식을 효과적으로 전이할 수 있는가?
• RQ4 MTPD는 손실 곡면의 평탄함을 통해 학생 모델의 일반화 성능 향상에 기여하는가?
• RQ5 디스틸레이션 메커니즘에 대한 사전 지식이 없이도 제안된 히우리스틱 기반 교사 순서 선택 알고리즘이 수동 또는 무작위 순서를 능가하는가?

주요 결과

• MTPD는 MS COCO에서 최신 기술 수준의 성능을 달성하여, ResNet-50 RetinaNet의 AP를 36.5%에서 42.0%로, Mask R-CNN의 AP를 38.2%에서 42.5%로 향상시켰다.
• 중간 교사(ResNet-101)에서 점진적으로 디스틸레이션한 후 최종 교사(ResNeXt-101)로 전이하면 41.4%의 AP를 기록하여, 최종 교사에서 직접 디스틸레이션한 경우(41.0%)와 중간 교사만 사용한 경우(40.7%)보다 뛰어난 성능을 보였다.
• 이전 방법이 아키텍처 호환성 문제로 인해 달성하지 못했던, 트랜스포머 기반 교사(Swin Transformer)에서 컨볼루션 기반 학생으로의 비전공적 지식 전이를 가능하게 하였다.
• 학생 모델의 성능 향상은 최적화의 결과가 아니라 일반화 성능 향상 덕분이었으며, 이는 손실 곡면에서 더 평탄한 최소값으로 수렴하는 것으로 확인되었다.
• 사전 지식이 없이도 디스틸레이션 메커니즘을 이해할 필요 없이도 히우리스틱 기반 교사 순서 선택 알고리즘이 최적의 훈련 순서를 효과적으로 식별하며, 다양한 설정에서 일관되게 성능 향상을 이룬다.
• MTPD는 기존의 디스틸레이션 기법(MGD, FGD, CWD 등)과 호환되며, 사용된 디스틸레이션 손실의 복잡성에 관계없이 일관되게 성능 향상을 이룬다.

Figure 2: Multi-Teacher Progressive Distillation (MTPD) for object detectors. Left : For each teacher-student pair, the training target consists of two parts: $L_{\text{distill}}$ minimizes the discrepancy between the neck feature maps of the student and the current teacher, and $L_{\text{detect}}$