[논문 리뷰] Knowledge Transfer Pre-training

Zhiyuan Tang, Dong Wang외 2명|arXiv (Cornell University)|2015. 06. 07.

Topic Modeling참고 문헌 21인용 수 14

한 줄 요약

이 논문은 더 단순한 교사 모델이 소프트 레이블을 통해 복잡한 학생 모델(예: RNN)의 훈련을 안내하는 지식 전이 사전 훈련을 제안한다. 이는 계층적 아키텍처가 필요하지 않으며, 효과적인 사전 훈련을 가능하게 한다. 이 방법은 전통적인 계층별 사전 훈련과 비교해도 성능이 유사하거나 뛰어나며, 특히 RBM 사전 훈련과 조합할 경우 더욱 우수한 성능을 보이며, 약한 교사 모델을 사용할 때에도 효과를 발휘한다.

ABSTRACT

Pre-training is crucial for learning deep neural networks. Most of existing pre-training methods train simple models (e.g., restricted Boltzmann machines) and then stack them layer by layer to form the deep structure. This layer-wise pre-training has found strong theoretical foundation and broad empirical support. However, it is not easy to employ such method to pre-train models without a clear multi-layer structure,e.g., recurrent neural networks (RNNs). This paper presents a new pre-training approach based on knowledge transfer learning. In contrast to the layer-wise approach which trains model components incrementally, the new approach trains the entire model as a whole but with an easier objective function. This is achieved by utilizing soft targets produced by a prior trained model (teacher model). Compared to the conventional layer-wise methods, this new method does not care about the model structure, so can be used to pre-train very complex models. Experiments on a speech recognition task demonstrated that with this approach, complex RNNs can be well trained with a weaker deep neural network (DNN) model. Furthermore, the new method can be combined with conventional layer-wise pre-training to deliver additional gains.

연구 동기 및 목표

• 계층별 사전 훈련의 한계를 해결하기 위해, 계층적 구조가 명확하지 않은 모델(예: RNN)에는 적용될 수 없는 문제를 해결하기 위해.
• 모델 아키텍처에 제약을 받지 않는 일반적인 사전 훈련 방법을 개발하여, 복잡한 딥 네트워크의 효과적인 초기화를 가능하게 하기 위해.
• 약한 교사 모델이 지식 정밀화를 통해 더 복잡한 학생 모델의 사전 훈련을 효과적으로 이끌 수 있는지 조사하기 위해.
• 지식 전이 사전 훈련의 성능을 음성 인식 작업에서 기존의 방법(예: RBM 및 계층별 분류 기반 사전 훈련)과 비교 평가하기 위해.
• 지식 전이 사전 훈련과 기존의 비지도 사전 훈련(예: RBM) 간의 상호보완성에 대해 탐구하기 위해.

제안 방법

• 사전 훈련된 더 단순한 교사 모델(예: 얕은 DNN)이 훈련 데이터에 대한 소프트 레이블(로짓)을 생성한다.
• 이 소프트 레이블은 더 깊고 복잡한 학생 모델(예: RNN 또는 깊은 DNN)을 지도 학습 방식으로 사전 훈련하는 데 사용된다.
• 학생 모델은 교사의 출력 분포를 따라가도록 훈련되며, 지식 전이를 장려하는 정규화 손실을 사용한다.
• 사전 훈련 후 학생 모델의 분류 레이어는 재초기화되어 효과적인 미세 조정을 가능하게 한다.
• 종단 간 전체 네트워크 훈련 전략 덕분에, 순환 구조나 스킵 연결이 있는 아키텍처를 포함한 어떤 모델 아키텍처에도 적용 가능하다.
• 이 방법은 RBM 기반 비지도 사전 훈련과 같은 다른 사전 훈련 기법과 조합하여 성능 향상을 이룰 수 있다.

실험 결과

연구 질문

• RQ1 지식 전이 사전 훈련이 계층별로 명확한 구조가 없는 복잡한 신경망(예: RNN)을 효과적으로 초기화할 수 있는가?
• RQ2 약한 교사 모델(예: 단일 레이어 DNN)조차도 더 깊은 학생 모델의 사전 훈련을 의미 있게 이끌 수 있는가?
• RQ3 지식 전이 사전 훈련은 기존의 계층별 사전 훈련 방법(예: RBM 및 분류 기반 사전 훈련)과 비교해 성능가능한가?
• RQ4 지식 전이 사전 훈련은 다른 사전 훈련 방법과 조합하여 추가적인 성능 향상을 이룰 수 있는가?
• RQ5 지식 전이 방법은 다양한 모델 아키텍처와 작업, 특히 시퀀스 모델링 분야에서 일반화 가능한가?

주요 결과

• 4개의 은닉 레이어를 가진 DNN를 교사로 사용한 ASR 작업에서 지식 전이 사전 훈련은 11.43%의 단어 오류율(WER)을 달성했으며, RBM 기반 방법(11.42% WER)과 유사한 성능을 보였다.
• 약한 단일 레이어 DNN를 교사로 사용한 경우에도 11.65%의 WER를 기록하여, 교사 모델이 높은 정확도일 필요가 없이도 효과적인 지도가 가능함을 입증했다.
• 이 실험에서는 계층별 분류 기반 사전 훈련 방법이 최소한의 성능 향상을 보였으며, 이는 특정 설정에서는 지식 전이 방법에 비해 덜 효과적일 수 있음을 시사한다.
• RBM 사전 훈련과 지식 전이 사전 훈련을 조합한 결과 최고의 성능(11.13% WER)을 기록하여, 두 방법이 상호보완적임을 확인했다.
• 이 방법은 더 단순한 DNN를 교사로 사용하여 RNN 모델의 사전 훈련에 성공적으로 적용하여, 순환 아키텍처에 대한 전통적 계층별 사전 훈련의 한계를 극복했다.
• 결과적으로 지식 전이 사전 훈련이 복잡한 모델을 효과적으로 초기화할 수 있는 강력하고 아키텍처에 구애받지 않는 방법임을 확인했다.