[논문 리뷰] Model Interpolation with Trans-dimensional Random Field Language Models for Speech Recognition

Bin Wang, Zhijian Ou외 2명|arXiv (Cornell University)|2016. 03. 30.

Speech Recognition and Synthesis참고 문헌 14인용 수 4

한 줄 요약

이 논문은 음성 인식 성능 향상을 위해 전이차원 랜덤 필드 언어 모델(TRF-LM)과 신경망 언어 모델(NN-LM)을 결합하는 새로운 로그선형 보간 방법을 제안한다. 전체 문장을 랜덤 필드로 모델링하고 국소 정규화를 피하기 때문에 TRF-LM은 더 빠른 추론 속도와 경쟁력 있는 성능을 달성한다. 주요 결과로는 영어에서 6-그램 LM 대비 12.1% 상대적 WER 감소와 중국어에서 17.9% 감소를 기록하여, TRF-LM과 NN-LM의 통합이 효과적임을 입증한다.

ABSTRACT

The dominant language models (LMs) such as n-gram and neural network (NN) models represent sentence probabilities in terms of conditionals. In contrast, a new trans-dimensional random field (TRF) LM has been recently introduced to show superior performances, where the whole sentence is modeled as a random field. In this paper, we examine how the TRF models can be interpolated with the NN models, and obtain 12.1\% and 17.9\% relative error rate reductions over 6-gram LMs for English and Chinese speech recognition respectively through log-linear combination.

연구 동기 및 목표

• 전체 문장을 랜덤 필드로 모델링하는 전이차원 랜덤 필드 언어 모델(TRF-LM)이 신경망 언어 모델(NN-LM)과 효과적으로 통합되어 음성 인식 성능 향상에 기여할 수 있는지 조사하기 위해.
• 문장 확률의 공동 모델링을 위해 TRF-LM과 NN-LM 간의 다양한 보간 기법—선형(단어 수준 또는 문장 수준) 및 로그선형—을 평가하기 위해.
• 전통적인 n-그램 및 RNN 기반 모델에 비해 TRF-LM이 추론 속도와 특징 통합 측면에서 계산적이고 정확도 측면에서 유리한 점을 입증하기 위해.
• 언어 모델링의 랜덤 필드 접근 방식이 지배적인 조건부 접근 방식에 비해 실현 가능하고 강력한 대안임을 경험적으로 입증하기 위해.

제안 방법

• TRF-LM은 문장 길이와 단어 시퀀스의 결합 확률을 전이차원 랜덤 필드 공식을 사용해 모델링하며, 확률은 $ p(l,x^l;\lambda) = \frac{n_l/n}{Z_l(\lambda)} e^{\lambda^T f(x^l)} $로 정의된다. 여기서 $ f(x^l) $는 위치 및 길이에 영향을 받지 않는 특징 벡터이다.
• 모델 파라미터 $ \lambda $와 정규화 상수 $ Z_l(\lambda) $를 추정하기 위해 공동 스토케스틱 추정(SA) 학습 알고리즘을 사용하며, $ \zeta_l $는 $ Z_l(\lambda) $와 $ Z_1(\lambda) $의 로그 비율을 나타낸다.
• 모델 보간은 로그선형 조합을 통해 수행되며, $ s(x^l) = \exp(\alpha \log p_1(x^l) + (1-\alpha) \log p_2(x^l)) $로 표현된다. 여기서 $ p_1 $과 $ p_2 $는 각각 TRF-LM과 NN-LM의 결합 확률이며, $ \alpha $는 개발 세트에서 튜닝된다.
• TRF-LM의 특징로는 단어 유니그램, 바이그램, 스킵그램, 맥락 민감한 특징이 포함되며, 특징 공간의 클래스 수(예: 200–600개 클래스)로 모델 용량을 제어한다.
• 실험에서는 20–80개의 CPU 코어를 사용해 병렬 학습 및 추론를 수행하며, $ \beta_\lambda = 0.8 $, $ \beta_\zeta = 0.6 $, $ t_0 = t_{\text{max}} = 20000 $ 등의 초모수를 사용한다.

실험 결과

연구 질문

• RQ1 전이차원 랜덤 필드 언어 모델(TRF-LM)을 신경망 언어 모델(NN-LM)과 효과적으로 보간하여 음성 인식 성능 향상에 기여할 수 있는가?
• RQ2 TRF-LM과 NN-LM을 결합할 때, 선형(단어 수준 또는 문장 수준) 보다는 로그선형 보간 기법이 더 안정적이고 효과적인 성능 향상을 이끌어내는가?
• RQ3 n-그램 및 RNN 기반 언어 모델에 비해 TRF-LM의 성능은 단어 오류율(WER), 퍼플렉서티(PPL), 추론 속도 측면에서 어떻게 비교되는가?
• RQ4 TRF-LM은 조건부 모델에 비해 더 풍부한 특징을 통합하고 국소 정규화의 계산 부담을 피할 수 있는가?

주요 결과

• TRF-LM과 NN-LM의 로그선형 조합은 영어 WSJ0 음성 인식에서 6-그램 Kneser-Ney(KN6) LM 대비 12.1% 상대적 단어 오류율(WER) 감소를 달성했다.
• 중국어 민난어 인식에서는 동일한 로그선형 조합이 KN6 LM 대비 17.9% 상대적 WER 감소를 기록했으며, FNN과 KN6 모델의 최고 조합 성능을 초월했다.
• 400개 클래스를 가진 TRF-LM은 중국어 테스트 세트에서 CER 4.32%를 기록했으며, FNN LM의 4.30%와 매우 유사했고, KN6 LM의 4.87%보다도 뚜렷이 뛰어났다.
• RNN-LM 대비 200배 빠른 재평가 속도를 달성했으며, 1000개의 최선 리스트당 추론 시간은 0.16초였고, RNN은 40초였으며 GPU를 사용하지 않았다.
• 로그선형 보간 기법은 선형 보간 기법에 비해 영어 및 중국어 실험 모두에서 더 안정적인 성능을 보였다.
• 특징 ‘w+c+ws+cs+cpw’와 400개 클래스를 사용해 학습한 TRF-LM은 FNN LM과 로그선형 보간을 통해 중국어에서 최고 성능을 기록했으며, CER 4.0%를 달성했다.