[논문 리뷰] Efficient Transfer Learning Schemes for Personalized Language Modeling using Recurrent Neural Network

Seunghyun Yoon, Hyeongu Yun외 3명|arXiv (Cornell University)|2017. 01. 13.

Topic Modeling참고 문헌 14인용 수 16

한 줄 요약

이 논문은 사용자 데이터가 최소한이고 데이터 泄漏가 없도록 모바일 기기에서 실행 가능한 개인 맞춤형 언어 모델을 훈련하기 위한 효율적인 전이 학습 기법을 제안한다. 일반 언어 모델로부터 지식을 전이하고, 레이어 고정 및 여유 레이어 삽입 기법을 적용함으로써, 사용자별 대화 패턴과 높은 스타일 유사도를 달성하면서도 훈련 비용을 크게 줄이고 프라이버시를 유지한다.

ABSTRACT

In this paper, we propose an efficient transfer leaning methods for training a personalized language model using a recurrent neural network with long short-term memory architecture. With our proposed fast transfer learning schemes, a general language model is updated to a personalized language model with a small amount of user data and a limited computing resource. These methods are especially useful for a mobile device environment while the data is prevented from transferring out of the device for privacy purposes. Through experiments on dialogue data in a drama, it is verified that our transfer learning methods have successfully generated the personalized language model, whose output is more similar to the personal language style in both qualitative and quantitative aspects.

연구 동기 및 목표

• 사용자 데이터를 기기 외부로 이동시키지 않고 자원이 제한된 모바일 기기에서 개인 맞춤형 언어 모델링을 가능하게 하기 위해.
• 엔드 투 엔드 훈련과 비교해 개인 맞춤형 언어 모델 훈련을 위한 계산 및 데이터 요구 사항을 줄이기 위해.
• 일반 사전 훈련된 모델에서 전이 학습을 통해 로컬에서 개인 맞춤 모델을 훈련시킴으로써 사용자 프라이버시를 보존하기 위해.
• 제한된 타겟 데이터에서 효율적인 피니튜닝 기법을 통해 모델 일반화 능력과 스타일 적응 능력을 향상시키기 위해.

제안 방법

• 고성능 머신을 사용해 대규모 코퍼스(예: WMT, 'Friends' 대본)에서 일반 언어 모델을 사전 훈련한다.
• 사전 훈련된 모델의 처음 n개 레이어를 사용자 기기의 타겟 모델로 전이한다.
• 사용자 개인의 대화 데이터를 사용해 전이 학습 기법을 적용해 피니튜닝을 수행한다: '고정 n 레이어' 및 '여유 레이어' 방식.
• '고정 n 레이어' 방식은 기본 모델의 처음 n개 레이어를 고정하고 나머지 레이어만 피니튜닝한다.
• '여유 레이어' 방식은 전이된 레이어 위에 추가 레이어를 삽입하여 개인 맞춤 데이터를 위한 표현 능력을 향상시킨다.
• 모델 적응은 모바일 기기에서 로컬로 수행되어 사용자 데이터가 기기 외부로 유출되지 않으며 프라이버시가 보장된다.

실험 결과

연구 질문

• RQ1 소량의 개인 정보가 포함된 사용자 데이터만으로도 모바일 기기에서 개인 맞춤형 언어 모델을 효과적으로 훈련시킬 수 있는가?
• RQ2 일반 언어 모델에서의 전이 학습은 계산 비용과 데이터 전송을 최소화하면서도 개인 맞춤화를 어떻게 향상시킬 수 있는가?
• RQ3 '고정 n 레이어' 또는 '여유 레이어' 중 어떤 전이 학습 기법이 개인 맞춤형 언어 모델링에서 더 나은 일반화 및 스타일 적응을 이끌어내는가?
• RQ4 피니튜닝된 모델이 일반 모델에 비해 타겟 사용자의 언어 스타일을 어느 정도 정확히 반영하는가?

주요 결과

• '여유 레이어' 및 '고정 n 레이어' 기법은 기준 모델보다 훨씬 더 높은 일반화 성능을 달성하면서도 훨씬 적은 파라미터를 훈련시켰다.
• 개인 맞춤 언어 모델은 정성적 및 정량적 평가 모두에서 타겟 사용자의 대화 스타일과 높은 유사도를 보였다.
• 모델이 'Chandler' 코퍼스에서 피니튜닝되었을 때 교차 엔트로피 손실가 가장 낮아져, 타겟 사용자의 언어 스타일과의 일치도가 더 높다는 것을 시사했다.
• 'Friends' 대본에서 사전 훈련된 모델이 'Chandler' 데이터에서 피니튜닝된 결과, 다른 캐릭터의 대사보다 'Chandler'의 실제 대사와 더 유사한 응답을 생성했다.
• 심층 학습에서 일반적으로 요구되는 대규모 훈련 데이터가 필요로 하는 것보다도 극히 소량의 사용자 데이터로도 효과적인 개인 맞춤화를 달성했다.