[논문 리뷰] Neural Lattice-to-Sequence Models for Uncertain Inputs

Matthias Sperber, Graham Neubig외 2명|arXiv (Cornell University)|2017. 01. 01.

Topic Modeling참고 문헌 20인용 수 11

한 줄 요약

이 논문은 트리LSTM 기반 인코더와 어텐션 메커니즘에 단어 라티스 후행 확률을 통합하여 순서-순서 번역 성능을 향상시키는 신경 라티스-시퀀스 모델을 제안한다. 라티스 신뢰도 점수에 기반해 은닉 상태와 어텐션을 가중치를 적용함으로써, 1-best 번역 결과나 가중치 없는 라티스를 사용하는 기준 모델 대비 일관된 성능 향상을 달성하였다. Fisher 데이터셋에서 1.4 BLEU 향상, Callhome 데이터셋에서 0.8 BLEU 향상 달성.

ABSTRACT

The input to a neural sequence-to-sequence model is often determined by an up-stream system, e.g. a word segmenter, part of speech tagger, or speech recognizer. These up-stream models are potentially error-prone. Representing inputs through word lattices allows making this uncertainty explicit by capturing alternative sequences and their posterior probabilities in a compact form. In this work, we extend the TreeLSTM (Tai et al., 2015) into a LatticeLSTM that is able to consume word lattices, and can be used as encoder in an attentional encoder-decoder model. We integrate lattice posterior scores into this architecture by extending the TreeLSTM's child-sum and forget gates and introducing a bias term into the attention mechanism. We experiment with speech translation lattices and report consistent improvements over baselines that translate either the 1-best hypothesis or the lattice without posterior scores.

연구 동기 및 목표

• 자동 음성 인식기와 같은 오류가 발생하기 쉬운 상류 시스템에서 유입되는 불확실한 입력을 번역하는 데 도전하는 것.
• 단어 라티스 후행 확률을 통해 불확실성을 명시적으로 모델링하여 신경 순서-순서 번역 모델을 향상시키는 것.
• 순차적 인코더에서 일반화할 수 있는 라티스 인식 인코더를 개발하여 사전 훈련을 통한 더 나은 수렴 성능을 가능하게 하는 것.
• 라티스 점수가 어텐션, 자식-합(sum) 및 잊기 게이트 성능 향상에 미치는 영향을 조사하는 것.

제안 방법

• 후행 확률가 함께 제공된 다수의 이전 경로에 따라 은닉 상태를 조건화하는 방식으로 트리LSTM을 확장한 라티스LSTM을 제안한다.
• 가중치가 부여된 자식-합 계산 방식을 도입하여, 은닉 상태를 이전 경로의 가중 평균으로 계산하며, 이 가중치는 라티스 후행 확률에서 유도된다.
• 낮은 확률을 가진 이전 경로의 영향을 줄이기 위해 트리LSTM의 잊기 게이트를 더 잊기 쉬운 방식으로 수정한다.
• 학습 가능한 피크니스 계수를 사용해 어텐션 메커니즘을 고신뢰도 라티스 노드에서의 소스 임베딩에 더 집중하도록 편향시킨다.
• 수렴 속도를 향상시키고 성능을 향상시키기 위해 라티스 데이터에서의 미세조정 이전에 순차적 데이터에서 모델을 사전 훈련한다.
• 학습 가능한 피크니스 계수를 사용해 어텐션 및 게이팅 메커니즘의 라티스 점수에 대한 민감도를 동적으로 조정한다.

실험 결과

연구 질문

• RQ1 단어 라티스의 후행 확률을 통합한 라티스-시퀀스 모델이 1-best 가설이나 가중치 없는 라티스만을 사용하는 모델보다 음성 번역 성능에서 뛰어나게 되는가?
• RQ2 가중치가 부여된 자식-합, 편향된 잊기 게이트, 어텐션 편향 등의 다양한 통합 전략이 모델 성능에 기여하는 정도는 어떠한가?
• RQ3 순차적 데이터에서의 사전 훈련이 라티스 데이터에서의 미세조정 시 수렴성과 최종 성능 향상에 기여하는가?
• RQ4 라티스 점수의 신뢰도가 다양한 ASR 단어 오류율에서 모델 성능 향상에 미치는 영향은 어떠한가?
• RQ5 훈련 시점에 라티스 점수를 통합하는 것이 추론 시점에 통합하거나 점수를 전혀 사용하지 않는 것보다 더 효과적인가?

주요 결과

• 어텐션 메커니즘에 라티스 점수를 편향시킨 제안된 라티스-시퀀스 모델은 피셔 음성 번역 코퍼스에서 강력한 1-best 기준 모델 대비 1.4 BLEU 점수 향상을 달성하였다.
• 칼호프 스페인어-영어 코퍼스에서 모델은 1-best 기준 모델 대비 0.8 BLEU 점수 향상을 기록하였으며, 제한된 라티스 데이터에서의 미세조정 동안에도 성능 향상이 유지되었다.
• 어텐션 메커니즘의 라티스 점수 통합이 가장 영향력 있는 구성 요소였으며, 자식-합 및 잊기 게이트 수정보다 일관되게 뛰어난 성능 향상을 보였다.
• 학습 가능한 피크니스 계수를 사용한 모델는 안정적으로 수렴하였으며, 어텐션 및 게이팅 구성 요소의 평균 값이 0.92~1.0 사이를 유지하여 점수 신뢰도에 대한 강건성을 보였다.
• 라티스 점수는 중간 수준의 단어 오류율에서 가장 유익하며, 매우 높은 WER에서는 점수의 신뢰도가 떨어지기 때문에 성능 향상 효과가 감소한다.
• 점수 없이도 라티스 구조는 1-best 입력보다 성능 향상을 보이지만, 특히 자원이 제한된 환경에서 최대 성능 향상을 달성하기 위해서는 후행 확률의 통합이 필수적이다.