[논문 리뷰] Teacher-Students Knowledge Distillation for Siamese Trackers

Yuanpei Liu, Xingping Dong외 2명|arXiv (Cornell University)|2019. 07. 24.

Video Surveillance and Tracking Methods참고 문헌 55인용 수 20

한 줄 요약

이 논문은 대규모 정확도를 가진 교사 추적기에서 소형이고 빠른 학생 추적기로의 지식 정렬 프레임워크를 제안한다. 단일 교사 정렬과 학생 간 상호 지식 공유를 결합함으로써, 최대 18배의 모델 압축과 3배의 속도 향상(최대 265 FPS)을 달성하면서도 다섯 가지 벤치마크에서 최신 기술 수준의 성능을 유지하거나 초월한다.

ABSTRACT

In recent years, Siamese network based trackers have significantly advanced the state-of-the-art in real-time tracking. However, state-of-the-art Siamese trackers suffer from high memory cost which restricts their applicability in mobile applications having strict constraints on memory budget. To address this issue, we propose a novel distilled Siamese tracking framework to learn small, fast yet accurate trackers (students), which capture critical knowledge from large Siamese trackers (teachers) by a teacher-students knowledge distillation model. This model is intuitively inspired by a one-teacher vs multi-students learning mechanism, which is the most usual teaching method in the school. In particular, it contains a single teacher-student distillation model and a student-student knowledge sharing mechanism. The first one is designed by a tracking-specific distillation strategy to transfer knowledge from the teacher to students. The later is utilized for mutual learning between students to enable an in-depth knowledge understanding. To the best of our knowledge, we are the first to investigate knowledge distillation for Siamese trackers and propose a distilled Siamese tracking framework. We demonstrate the generality and effectiveness of our framework by conducting a theoretical analysis and extensive empirical evaluations on several popular Siamese trackers. The results on five tracking benchmarks clearly show that the proposed distilled trackers achieve compression rates up to 18$ imes$ and frame-rates of $265$ FPS with speedups of 3$ imes$, while obtaining similar or even slightly improved tracking accuracy.

연구 동기 및 목표

• 모바일 및 자원 제약이 있는 애플리케이션에 배포할 수 있는 능력을 제한하는 최신 기술 수준의 사이라미스 추적기의 높은 메모리 비용을 해결하기 위해.
• 큰 교사 모델에서 더 작은 학생 모델로 지식을 전달하는 정렬된 사이라미스 추적 프레임워크를 개발하기 위해.
• 학습자 간 상호 지식 학습을 통해 단일 정렬 외부의 깊이 있는 이해와 성능 향상을 가능하게 하기 위해.
• 추적 정확도를 희생시키지 않고도 상당한 모델 압축과 추론 속도 향상을 달성하기 위해.
• 여러 사이라미스 추적기 아키텍처에 걸쳐 제안된 정렬 프레임워크의 일반성과 효능을 입증하기 위해.

제안 방법

• 기존의 교실 교육 방식을 영감으로 받아, 단일 대규모 교사 모델이 여러 소형 학생 모델을 지도하는 '한 명의 교사에서 다수의 학생' 정렬 메커니즘을 설계한다.
• 추적에 특화된 정렬 전략을 구현하여 교사의 특징 맵과 분류 점수에서 학생 네트워크로 지식을 전달한다.
• 학습자 간 상호 학습을 가능하게 하는 학생-학생 지식 공유 메커니즘을 도입하여 특징 표현과 일반화 능력을 향상시킨다.
• 지식 정렬을 통해 성능을 유지하면서 추론 효율성을 높이기 위해, 지도 학습 레이블과 교사로부터 유도된 소프트 레이블을 조합하여 학생 모델을 훈련한다. 이때 분류와 특징 정렬을 균형 잡는 손실 함수를 사용한다.
• 중간층의 교사에서 해당하는 학생의 레이어로 지식을 전달하기 위해 특징 수준의 정렬을 사용하여 공간적 및 의미적 정보를 유지한다.
• 지식 정렬을 통해 성능를 유지하면서도, 정제 및 양자화를 통해 학생 모델을 추론 효율성 향상에 최적화한다.

실험 결과

연구 질문

• RQ1 지식 정렬이 추적 정확도를 떨어뜨리지 않고 대규모 사이라미스 추적기를 더 작고 빠른 모델로 효과적으로 압축할 수 있는가?
• RQ2 단일 교사 정렬 외에 학생-학생 지식 공유를 포함할 경우 성능 향상 정도는 어떠한가?
• RQ3 제안된 프레임워크가 다양한 사이라미스 추적기 아키텍처에서 모델 크기 감소와 추론 속도 향상에 얼마나 기여하는가?
• RQ4 정제된 추적기는 원본 교사 모델에 비해 정확도를 유지하거나 향상시키는가?
• RQ5 이 정렬 프레임워크는 여러 사이라미스 추적기 변종과 추적 벤치마크에 걸쳐 얼마나 일반화 가능한가?

주요 결과

• 정제된 추적기는 원본 교사 모델 대비 최대 18배의 모델 압축을 달성하여 메모리 사용량을 크게 줄였다.
• 제안된 프레임워크는 최대 265 FPS의 추론 속도를 제공하여 원본 모델 대비 3배의 속도 향상을 이뤘다.
• 다섯 가지 표준 추적 벤치마크에서 정제된 추적기는 교사 모델의 정확도를 유지하거나 약간 초월했다.
• 학생-학생 지식 공유 메커니즘이 특징 표현과 강건성을 향상시켜 더 나은 일반화 능력을 이끌어냈다.
• 정렬 프레임워크는 여러 사이라미스 추적기 아키텍처에 걸쳐 효과적이며 강력한 일반화 및 이식 가능성을 입증했다.
• 장애물에 의한 가림이나 운동 왜곡과 같은 도전적인 추적 조건에서도 높은 정확도를 유지하여 실용적 강건성을 확인했다.