[논문 리뷰] Transfer Learning for Speech and Language Processing

Dong Wang, Thomas Fang Zheng|arXiv (Cornell University)|2015. 11. 19.

Speech Recognition and Synthesis참고 문헌 147인용 수 31

한 줄 요약

이 논문은 음성 및 언어 처리에서의 전이 학습을 검토하며, 딥 러닝이 작업, 도메인, 언어 간 효과적인 전이를 가능하게 하는 역할을 강조한다. 사전 훈련된 모델과 공유 표현이 자원이 적은 환경에서 성능 향상에 기여하는 방식을 설명하며, 관련 작업이나 데이터 소스로부터의 전이를 통해 음성 인식 및 문서 분류 분야에서 뚜렷한 성과 향상이 관찰된 경험적 결과를 제시한다.

ABSTRACT

Transfer learning is a vital technique that generalizes models trained for one setting or task to other settings or tasks. For example in speech recognition, an acoustic model trained for one language can be used to recognize speech in another language, with little or no re-training data. Transfer learning is closely related to multi-task learning (cross-lingual vs. multilingual), and is traditionally studied in the name of `model adaptation'. Recent advance in deep learning shows that transfer learning becomes much easier and more effective with high-level abstract features learned by deep models, and the `transfer' can be conducted not only between data distributions and data types, but also between model structures (e.g., shallow nets and deep nets) or even model types (e.g., Bayesian models and neural models). This review paper summarizes some recent prominent research towards this direction, particularly for speech and language processing. We also report some results from our group and highlight the potential of this very interesting research field.

연구 동기 및 목표

• 전이 학습을 활용하여 음성 및 언어 처리에서 데이터의 희소성과 불균형 문제를 해결한다.
• 딥 러닝이 언어, 작업, 데이터 유형 간 효과적인 전이를 어떻게 가능하게 하는지 탐구한다.
• 음성 및 언어 응용 분야의 전이 학습 분야에서의 최근 발전을 종합적으로 검토한다.
• 다국어, 다도메인, 다모odal 전이 학습 분야에서의 유망한 기법과 열린 과제를 부각시킨다.
• 음성 인식 및 문서 분류 분야에서의 경험적 결과를 통해 전이 학습의 효과성을 입증한다.

제안 방법

• 작업 및 도메인 간 일반화 가능한 고수준 추상적 특징을 학습하기 위해 딥 신경망을 활용한다.
• 모델 적응, 미세 조정, 관련 작업 간 특징 공유를 통한 전이 학습을 적용한다.
• 대규모의 비라벨 데이터를 활용해 표현을 사전 훈련하고, 이후 하류 작업에 대해 미세 조정한다.
• 다른 모델 구조 간에 공유 레이어 또는 이식 가능한 구성 요소(예: 임bedding, 음향 모델)를 활용한다.
• 전이 효율성을 향상하고 부정적 전이를 줄이기 위해 정규화 및 목적 함수 수정을 적용한다.
• 오디오, 텍스트, 시각 데이터 등 이질적 자원을 통합하여 모델의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 전이 학습은 자원이 적은 음성 및 언어 처리 작업에서 성능을 어떻게 향상시킬 수 있는가?
• RQ2 음성 및 NLP 분야에서 전이에 가장 효과적인 특징, 표현 또는 모델 구성 요소는 무엇인가?
• RQ3 전이 학습이 성능 향상에 기여하는 조건는 무엇이며, 언제 실패할 수 있는가?
• RQ4 관련 도메인의 비라벨 데이터는 어떻게 활용되어 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ5 음성, 언어, 발화자 인식 작업 간에 공통 표현을 학습할 수 있는가?

주요 결과

• 고자원 언어에서 사전 훈련된 모델을 활용함으로써 자원이 적은 음성 인식 작업에서 성능 향상이 뚜렷하게 향상된다.
• 목표 작업에 대해 사전 훈련된 딥 신경망을 미세 조정하면, 초기 학습에서부터 시작하는 것보다 수렴 속도가 빠르고 정확도가 높아진다.
• 분포가 다를지라도 관련 도메인의 비라벨 데이터는 모델 학습을 효과적으로 정규화할 수 있다.
• 특히 딥 아키텍처를 사용할 경우, 이전 방법에 비해 부정적 전이의 위험을 줄일 수 있다.
• 다국어 및 다중 작업 학습은 공유 표현 덕분에 특히 특징 또는 구조 수준에서 관련성이 있는 작업일 경우 유리하다.
• 오디오, 텍스트, 영상 등 이질적 데이터 소스의 통합은 복잡한 작업에서 모델의 강건성과 일반화 능력을 향상시킨다.