[논문 리뷰] Rocket Launching: A Universal and Efficient Framework for Training Well-performing Light Net

Guorui Zhou, Ying Fan외 4명|arXiv (Cornell University)|2017. 08. 14.

Machine Learning and Data Classification인용 수 40

한 줄 요약

이 논문은 복잡한 '부스터 네트워크'를 사용해 훈련 중에 경량 '라이트 넷'을 지속적으로 이끌어주는 힌트 손실을 통해, 최소한의 추론 지연으로 최신 기술 수준의 성능을 달성할 수 있는 유니버설 훈련 프레임워크인 로켓 런칭을 제안한다. 이 방법은 일반화 능력과 추론 효율성을 향상시켜 벤치마크 및 산업 데이터셋에서 기존의 디스틸레이션 및 압축 기법들을 능가한다.

ABSTRACT

Models applied on real time response task, like click-through rate (CTR) prediction model, require high accuracy and rigorous response time. Therefore, top-performing deep models of high depth and complexity are not well suited for these applications with the limitations on the inference time. In order to further improve the neural networks' performance given the time and computational limitations, we propose an approach that exploits a cumbersome net to help train the lightweight net for prediction. We dub the whole process rocket launching, where the cumbersome booster net is used to guide the learning of the target light net throughout the whole training process. We analyze different loss functions aiming at pushing the light net to behave similarly to the booster net, and adopt the loss with best performance in our experiments. We use one technique called gradient block to improve the performance of the light net and booster net further. Experiments on benchmark datasets and real-life industrial advertisement data present that our light model can get performance only previously achievable with more complex models.

연구 동기 및 목표

• 실시간 산업 응용 프로그램에서 엄격한 지연 제약 조건을 가진 고정확도 딥 뉴럴 네트워크의 구현에 도전한다.
• 훈련 중에 복잡한 부스터 넷으로부터 지속적인 감독을 받음으로써 기존의 지식 디스틸레이션 및 모델 압축 기법의 한계를 극복한다.
• 추론 시간을 증가시키지 않고도 경량 네트워크 성능을 향상시킬 수 있는 유니버설이고 아키텍처에 구애받지 않는 프레임워크를 개발한다.
• 더 깊고 더 복잡한 부스터 넷으로부터의 계층적 특징 표현을 활용해 소형 네트워크의 일반화 능력과 강건성을 향상시킨다.

제안 방법

• 낮은 레이어 가중치를 공유함으로써 저수준 특징을 전달하는 경량 '라이트 넷'과 더 깊고 더 복잡한 '부스터 넷'을 동일한 작업에서 공동으로 훈련한다.
• 라이트 넷의 중간 활성화가 부스터 넷의 것과 유사하도록 유도하는 힌트 손실 함수를 도입하여 훈련 중 지식 전이를 가능하게 한다.
• 힌트 손실이 부스터 넷으로 역전파되지 않도록 하기 위해 기울기 블록 기법을 적용하여, 부스터 넷이 정답 기반으로 최적화할 수 있는 능력을 유지한다.
• 라이트 넷과 부스터 넷 간에 공유된 임bedding 또는 특징 추출 백본을 사용하여 일관된 저수준 표현 학습을 보장한다.
• 과적합을 방지하기 위해 표준 딥 러닝 최적화기(예: Adam)를 사용하여 전체 시스템을 최적화하고, 학습률 스케줄링 및 정규화(예: 드롭아웃)를 적용한다.
• 추론 시에는 훈련된 라이트 넷만 배포하여 지연 시간을 최소화하면서도 전체 부스터 넷 수준의 성능에 가까운 성능을 달성한다.

실험 결과

연구 질문

• RQ1 부스터 넷으로부터 지속적인 감독을 받는 경량 신경망이 더 깊고 더 복잡한 모델과 유사한 성능을 달성할 수 있는가?
• RQ2 힌트 손실 함수의 선택이 지식 전이 효율성과 최종 모델 정확도에 어떤 영향을 미치는가?
• RQ3 기울기 블록 메커니즘이 지식 전이에 손상이 가지 않도록 하면서 부스터 넷의 성능을 얼마나 향상시키는가?
• RQ4 로켓 런칭 프레임워크는 다양한 네트워크 아키텍처와 데이터셋, 특히 산업 규모의 광고 데이터에 대해 일반적으로 적용 가능한가?
• RQ5 로켓 런칭을 다른 압축 또는 디스틸레이션 기법과 조합하면 추가적인 성능 향상이 이루어지는가?

주요 결과

• SVHN에서 로켓 런칭은 기본 모델 대비 1.29%의 상대적 개선을 달성하여 테스트 오차를 3.58%에서 2.20%로 감소시켰다.
• CIFAR-100에서 이 방법은 기본 모델의 테스트 오차 43.7%에서 33.0%로 감소하여 10.4%의 상대적 개선을 이뤘고, 다른 디스틸레이션 방법들을 능가했다.
• 산업 규모의 광고 예측에서 라이트 넷은 동일한 추론 지연 시간을 유지하면서 GAUC에서 0.3% 향상(0.632에서 0.635로)을 달성했다.
• 부스터 넷 자체는 단일 추론에 23.2ms가 소요되어 온라인 사용에 부적합한 최고의 오프라인 지표(GAUC 0.637)를 기록했다.
• 로켓 런칭과 지식 디스틸레이션을 조합한 '로켓+KD'는 성능을 추가로 향상시켜, 존재하는 디스틸레이션 기법들과의 호환성을 입증했다.
• 기울기 블록 메커니즘이 부스터 넷의 성능 저하를 효과적으로 방지하여, 여전히 라이트 넷을 지도하면서도 고성능을 유지할 수 있었다.