[논문 리뷰] Knowledge Distillation for End-to-End Person Search.

Bharti Munjal, Fabio Galasso외 1명|arXiv (Cornell University)|2019. 01. 01.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 두 가지 교사-학생 distillation 방법을 통해 최적화되지 않은 검출기 훈련 문제를 개선함으로써 엔드 투 엔드 인물 검색 성능을 향상시키기 위해 지식 증류를 제안한다: (1) 전문화된 검출기를 사용한 다중 수준 검출 감독, 및 (2) 재식별을 검출에서 분리하는 새로운 ID 특징 룩업 테이블 증류. 이 방법은 두 개의 벤치마크에서 성능을 크게 향상시키며, 대규모 모델과 소규모 모델 간의 정확도 격차를 줄인다.

ABSTRACT

We introduce knowledge distillation for end-to-end person search. End-to-End methods are the current state-of-the-art for person search that solve both detection and re-identification jointly. These approaches for joint optimization show their largest drop in performance due to a sub-optimal detector. We propose two distinct approaches for extra supervision of end-to-end person search methods in a teacher-student setting. The first is adopted from state-of-the-art knowledge distillation in object detection. We employ this to supervise the detector of our person search model at various levels using a specialized detector. The second approach is new, simple and yet considerably more effective. This distills knowledge from a teacher re-identification technique via a pre-computed look-up table of ID features. It relaxes the learning of identification features and allows the student to focus on the detection task. This procedure not only helps fixing the sub-optimal detector training in the joint optimization and simultaneously improving the person search, but also closes the performance gap between the teacher and the student for model compression in this case. Overall, we demonstrate significant improvements for two recent state-of-the-art methods using our proposed knowledge distillation approach on two benchmark datasets. Moreover, on the model compression task our approach brings the performance of smaller models on par with the larger models.

연구 동기 및 목표

• 공동 최적화 과정에서 최적화되지 않은 검출기 훈련으로 인한 엔드 투 엔드 인물 검색의 성능 저하 문제를 해결한다.
• 지식 증류를 통해 엔드 투 엔드 인물 검색 모델의 일반화 능력과 정확도를 향상시킨다.
• 더 큰 교사 모델과의 정렬을 통해 소규모 학생 모델을 효과적으로 압축할 수 있도록 한다.
• 검출과 재식별 학습을 분리하여, 학생 모델이 ID 특징에 과도하게 피팅되지 않고 검출에 집중할 수 있도록 한다.

제안 방법

• 사전 훈련된 전문화된 객체 검출기를 교사로 사용하여, 학생 모델의 검출 헤드를 다중 특징 수준에서 지식 증류로 감독한다.
• 교사 재식별 모델에서 사전 계산된 정체성(ID) 특징의 룩업 테이블을 사용하는 새로운 증류 방법을 도입하여 학생의 ID 임베딩 학습을 이끌어낸다.
• 룩업 테이블을 통해 가장 분류 능력이 뛰어난 특징만 전달함으로써 ID 특징에 대한 감독을 완화하여, 학생의 재식별 헤드가 짐을 덜 지니도록 한다.
• 검출 및 재식별을 동시에 최적화하면서, 검출기와 ID 특징 교사로부터 온 증류 신호를 포함하여 학생 모델을 엔드 투 엔드로 훈련한다.
• 검출 손실과 증류 손실을 조합한 다중 과제 손실을 사용하여 공동 최적화와 지식 전달의 균형을 맞춘다.
• 작은 학생 모델을 증류를 통해 훈련시켜, 큰 교사 모델과 동등한 성능을 달성할 수 있도록 모델 압축을 가능하게 한다.

실험 결과

연구 질문

• RQ1 지식 증류가 최적화되지 않은 검출기 훈련 문제로 인해 성능 저하를 겪는 엔드 투 엔드 인물 검색 모델의 검출 성분을 효과적으로 향상시킬 수 있는가?
• RQ2 사전 계산된 룩업 테이블을 통한 ID 특징 증류가 공동 검출 및 재식별 훈련에서의 일반화 능력을 향상시키고 간섭을 줄이는가?
• RQ3 증류가 인물 검색에서 큰 교사 모델과 작은 학생 모델 간의 성능 격차를 메울 수 있는가?
• RQ4 엔드 투 엔드 인물 검색에 적용했을 때, 제안된 증류 방법은 기존의 표준 객체 검출 증류 방법보다 어떻게 다른가?

주요 결과

• 제안된 증류 방법은 두 개의 주요 인물 검색 벤치마크에서 뚜렷한 성능 향상을 이끌어낸다.
• 새로운 룩업 테이블 기반 증류 방법은 표준 검출 증류보다 더 효과적이며, 특히 검출 정확도 향상에 뛰어난 성능을 보인다.
• 제안된 방법을 통한 모델 압축은 소규모 학생 모델이 큰 교사 모델과 동등한 성능을 달성하도록 한다.
• 증류 과정은 공동 최적화 과정에서 최적화되지 않은 검출기 훈련이 초래하는 부정적 영향을 효과적으로 완화하여 전체 인물 검색 정확도를 향상시킨다.