[논문 리뷰] Sequence-to-Sequence Neural Net Models for Grapheme-to-Phoneme Conversion

Kaisheng Yao, Geoffrey Zweig|arXiv (Cornell University)|2015. 05. 31.

Natural Language Processing Techniques참고 문헌 24인용 수 68

한 줄 요약

이 논문은 그래프음에서 발음으로의 변환(G2P)을 위해 이방향 장기 단기 기억(LSTM) 네트워크를 제안하며, 정렬 정보를 활용하여 이전 최고 성능 기법들을 크게 능가한다. 이방향 LSTM과 정렬 데이터를 활용한 측면 조건부 시퀀스-투-시퀀스 모델링을 통해, CMUDict에서 23.55%의 단어 오류율(WER)을 달성하여 이전 최고 기록인 24.53% WER보다 통계적으로 유의미하게 1.0个百分点 향상시켰다.

ABSTRACT

Sequence-to-sequence translation methods based on generation with a side-conditioned language model have recently shown promising results in several tasks. In machine translation, models conditioned on source side words have been used to produce target-language text, and in image captioning, models conditioned images have been used to generate caption text. Past work with this approach has focused on large vocabulary tasks, and measured quality in terms of BLEU. In this paper, we explore the applicability of such models to the qualitatively different grapheme-to-phoneme task. Here, the input and output side vocabularies are small, plain n-gram models do well, and credit is only given when the output is exactly correct. We find that the simple side-conditioned generation approach is able to rival the state-of-the-art, and we are able to significantly advance the stat-of-the-art with bi-directional long short-term memory (LSTM) neural networks that use the same alignment information that is used in conventional approaches.

연구 동기 및 목표

• 측면 조건부 생성을 갖춘 시퀀스-투-시퀀스 신경망의 그래프음에서 발음으로의 변환(G2P) 작업에 대한 적용 가능성을 평가하는 것.
• 신경망 기반 모델이 기존의 n-gram 및 최대 엔트로피 모델보다 G2P 변환에서 우월한 성능을 낼 수 있는지 조사하는 것.
• G2P 작업에서 정렬 정보를 통합할 경우 모델 성능에 미치는 영향을 평가하는 것.
• 기존의 단방향 또는 인코더-디코더 설정 대비 더 깊거나 이방향 아키텍처가 G2P 정확도를 향상시키는지 확인하는 것.

제안 방법

• 시간 반전 입력을 사용하여 그래프음 입력에서 발음 시퀀스를 생성하기 위해 인코더-디코더 LSTM 아키텍처를 적용하는 것.
• 입력 그래프음 시퀀스의 과거 및 미래 맥락을 모두 포착하기 위해 이방향 LSTM을 사용하는 것.
• 모델의 예측을 안내하기 위해 그래프음과 발음 사이의 정렬 정보를 입력 특징으로 통합하는 것.
• 그래프음 시퀀스와 정렬 정보를 조건으로 하는 발음 시퀀스의 조건부 확률에 대해 교차 엔트로피 손실을 사용하여 모델을 훈련하는 것.
• 더 큰 비드가 성능 향상에 기여하지 않아서, 디코딩에 비드 폭이 1인 비드 서치를 적용하는 것.
• 단방향 모델에서 맥락 창을 3자(후에 6자)로 설정하여 맥락 인식 능력을 향상시키는 것.

실험 결과

연구 질문

• RQ1 측면 조건부 시퀀스-투-시퀀스 신경망은 정확한 청각적 출력이 요구되며 어휘가 작은 G2P 작업에서 경쟁적인 성능을 낼 수 있는가?
• RQ2 이방향 LSTM을 사용할 경우 단방향 또는 인코더-디코더 LSTM 대비 G2P 성능 향상이 이루어지는가?
• RQ3 정렬 정보를 통합할 경우 신경망 기반 G2P 모델의 성능 향상에 어느 정도 기여하는가?
• RQ4 더 깊은 네트워크 아키텍처(예: 3층 이중 LSTM)가 G2P 변환에서 최고 성능 기록을 추가로 향상시킬 수 있는가?

주요 결과

• 정렬 정보를 포함한 이방향 LSTM은 CMUDict 데이터셋에서 23.55%의 단어 오류율(WER)을 달성하여 이전 최고 기록인 24.53% WER보다 유의미하게 향상되었다.
• 모델은 CMUDict에서 5.45%의 발음 오류율(PER)을 기록하여 이전 최고 기록인 5.88%보다 0.43% 향상되었다.
• NetTalk 데이터셋에서는 이방향 LSTM이 30.77%의 WER를 기록하여 이전 최고 기록인 33.67%보다 2.9个百分点 향상되었다.
• Pronlex 데이터셋에서는 모델이 26.69%의 WER를 기록하여 이전 최고 기록인 27.33%보다 0.64个百分点 향상되었다.
• 단방향 모델에서 더 큰 맥락 창(6자)을 사용하면 성능이 28.56% WER로 향상되어 인코더-디코더 LSTM 결과에 가까워졌다.
• 3층의 이중 LSTM 아키텍처는 최고의 종합 성능을 기록하였으며, 깊은 아키텍처가 이방향 맥락과 정렬 정보를 효과적으로 활용할 수 있음을 보여주었다.