[논문 리뷰] In Teacher We Trust: Learning Compressed Models for Pedestrian Detection

Jonathan Shen, Noranart Vesdapunt외 2명|arXiv (Cornell University)|2016. 12. 01.

Advanced Neural Network Applications참고 문헌 4인용 수 21

한 줄 요약

이 논문은 고차원 힌트 레이어, 교사의 신뢰도 기반의 불확실성 인식 손실, 수작업으로 설계된 ACF 특징을 활용하여 대규모 보행자 검출 모델을 작고 효율적인 학생 네트워크로 압축하는 지식 정복 프레임워크를 제안한다. 이 방법은 Caltech 데이터셋에서 AlexNet(57M 파라미터)을 능가하면서도 400배의 파라미터 감소—157K 파라미터—를 달성하였으며, 추론 속도는 8배 빠르고 메모리 사용량은 21배 적게 사용한다.

ABSTRACT

Deep convolutional neural networks continue to advance the state-of-the-art in many domains as they grow bigger and more complex. It has been observed that many of the parameters of a large network are redundant, allowing for the possibility of learning a smaller network that mimics the outputs of the large network through a process called Knowledge Distillation. We show, however, that standard Knowledge Distillation is not effective for learning small models for the task of pedestrian detection. To improve this process, we introduce a higher-dimensional hint layer to increase information flow. We also estimate the variance in the outputs of the large network and propose a loss function to incorporate this uncertainty. Finally, we attempt to boost the complexity of the small network without increasing its size by using as input hand-designed features that have been demonstrated to be effective for pedestrian detection. We succeed in training a model that contains $400 imes$ fewer parameters than the large network while outperforming AlexNet on the Caltech Pedestrian Dataset.

연구 동기 및 목표

• 보행자 검출에서 표준 지식 정복의 비효율성 문제를 해결하기 위해, 이는 출력 차원이 낮은 이진 분류 문제이기 때문이다.
• 정확도를 희생시키지 않고 실시간 보행자 검출을 위한 모델 크기와 추론 비용을 줄이기 위해.
• 교사 네트워크의 불확실성 추정치를 통합하여 지식 정복 성능을 향상시키기 위해.
• 딥러닝의 특징 학습 능력에도 불구하고 수작업으로 설계된 특징(예: ACF)이 작은 학생 네트워크의 성능 향상에 기여할 수 있는지 탐색하기 위해.
• 크기가 훨씬 작고 빠른 작고 효율적인 학생 모델이 AlexNet과 같은 더 큰 모델을 성능 면에서 능가할 수 있는지 입증하기 위해.

제안 방법

• 교사 네트워크의 최종 레이어 이전에 완전히 연결된 힌트 레이어를 도입하여 지식 정복을 위한 출력 차원을 증가시킨다.
• 테스트 시 드롭아웃을 사용하여 교사의 예측 분산을 추정함으로써 예측 불확실성을 모델링한다.
• 교사의 예측 공분산을 통합하여 학생의 학습을 향상시키는 새로운 손실 함수를 설계한다.
• 학습자 네트워크의 입력으로 집합 채널 특징(ACF)을 사용하여 모델 크기를 늘리지 않고도 성능을 향상시킨다.
• 학습자 네트워크를 소프트 레이블(교사로부터), 힌트 레이어 출력, 불확실성 인식 손실의 조합을 사용하여 훈련한다.
• 다양한 변형을 적용한 지식 정복을 적용한다: 표준 KD, 힌트가 있는 KD, 신뢰도가 있는 KD, 힌트와 신뢰도를 모두 적용한 KD.

실험 결과

연구 질문

• RQ1 보행자 검출의 이진 분류 특성 때문에 표준 지식 정복이 큰 보행자 검출 모델을 효과적으로 압축할 수 있는가?
• RQ2 고차원 힌트 레이어를 도입함으로써 지식 정복 성능이 보행자 검출에서 향상되는가?
• RQ3 교사 네트워크에서 예측 불확실성을 모델링하면 학생 네트워크의 일반화 성능이 향상되는가?
• RQ4 수작업 특징(예: ACF)이 딥러닝의 특징 학습 능력에도 불구하고 작은 학생 네트워크의 성능 향상에 기여하는가?
• RQ5 교사 모델의 파라미터 수의 1/400에 불과한 학생 네트워크가 AlexNet과 같은 더 큰 모델을 성능 면에서 능가할 수 있는가?

주요 결과

• 힌트 레이어와 불확실성 인식 손실을 적용한 제안된 방법은 Caltech 데이터셋에서 로그 평균 누적 빈도를 18.0%로 감소시켜 표준 KD와 초기 학습보다 뛰어난 성능을 보였다.
• 오직 157,000개의 파라미터만을 가진 학생 모델이 교사 네트워크(63M 파라미터)보다 로그 평균 누적 빈도가 4.9% 낮게 나타나, 압축으로 인한 뚜렷한 성능 향상을 입증했다.
• Titan X GPU에서 학생 모델은 3ms로 24ms인 교사 네트워크보다 8배 빠르게 실행되었고, 메모리 사용량은 240MB에서 5.05GB로 21배 적게 사용했다.
• 힌트 레이어와 불확실성 모델링을 모두 적용할 경우 가장 우수한 성능을 기록하여, 가장 작은 모델의 누적 빈도를 22.4%로 낮췄고, 표준 KD의 경우 25.2%였다.
• 힌트와 신뢰도 모듈과 함께 ACF 특징을 사용할 경우 학생의 성능 향상이 있었지만, RGB 입력을 사용한 모델가 여전히 ACF 기반 모델보다 성능이 뛰어나, RGB 특징이 딥러닝 특징에 비해 여전히 열등하지 않음을 시사했다.
• 학생 모델은 정확도를 유지하거나 향상시키면서도 8배의 속도 향상과 21배의 메모리 감소를 달성하여, 파라미터 효율성이 성능 희생 없이 가능함을 입증했다.