[논문 리뷰] Local Monotonic Attention Mechanism for End-to-End Speech and Language Processing

Andros Tjandra, Sakriani Sakti외 1명|arXiv (Cornell University)|2017. 05. 23.

Topic Modeling참고 문헌 20인용 수 32

한 줄 요약

이 논문은 엔드 투 엔드 음성 및 언어 처리를 위한 국소적 단조성 어텐션 메커니즘을 제안하며, 모든 인코더 상태를 고려하지 않고도 왼쪽에서 오른쪽으로 단조적인 정렬을 강제하면서 국소적 윈도우 내의 인코더 상태에 집중한다. 동적으로 정렬 위치를 예측하고 어텐션을 슬라이딩 윈도우로 제한함으로써 계산 비용을 감소시키고 정렬 정확도를 향상시켜, 전역 어텐션과 이전의 국소적 방법에 비해 음성 인식(ASR), 문자음소 변환(G2P), 기계 번역 작업에서 뚜렷한 성능 햖도를 달성한다.

ABSTRACT

Recently, encoder-decoder neural networks have shown impressive performance on many sequence-related tasks. The architecture commonly uses an attentional mechanism which allows the model to learn alignments between the source and the target sequence. Most attentional mechanisms used today is based on a global attention property which requires a computation of a weighted summarization of the whole input sequence generated by encoder states. However, it is computationally expensive and often produces misalignment on the longer input sequence. Furthermore, it does not fit with monotonous or left-to-right nature in several tasks, such as automatic speech recognition (ASR), grapheme-to-phoneme (G2P), etc. In this paper, we propose a novel attention mechanism that has local and monotonic properties. Various ways to control those properties are also explored. Experimental results on ASR, G2P and machine translation between two languages with similar sentence structures, demonstrate that the proposed encoder-decoder model with local monotonic attention could achieve significant performance improvements and reduce the computational complexity in comparison with the one that used the standard global attention architecture.

연구 동기 및 목표

• ASR 및 기계 번역과 같은 장수열 작업에서 전역 어텐션의 계산 비효율성과 정렬 오류 문제를 해결하기 위해.
• 자기회귀적 작업(예: 음성 인식 및 문자음소 변환)에 필수적인 왼쪽에서 오른쪽으로 단조적인 정렬을 강제하기 위해.
• 계산을 작은 동적 윈도우 내의 인코더 상태에 국한시켜 복잡도를 낮추면서 성능을 유지하는 국소 어텐션 메커니즘을 도입하기 위해.
• 윈도우 크기와 정렬 위치에 대한 다양한 제어 전략(예: 동적 윈도우 크기 및 위치 예측)을 탐색하기 위해.
• 제안된 메커니즘이 전역 어텐션과 이전의 국소-m 방법에 비해 정확도와 효율성 측면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 어텐션 메커니즘은 모든 인코더 상태를 고려하는 대신, 예측된 정렬 위치 주변의 국소적 윈도우를 사용하여 컨텍스트 벡터를 계산한다.
• 동적 위치 예측 모듈은 디코더 상태와 이전 정렬을 기반으로 다음 정렬 지점을 추정함으로써 가변적인 윈도우 배치를 가능하게 한다.
• 어텐션 가중치 분포는 예측된 위치 중심의 고정 크기 윈도우 내에서만 계산되며, 국소성 원칙을 강제한다.
• 정렬이 오직 앞으로만 이동하도록 제한함으로써 단조성을 확보하여 원본 시퀀스 정렬에서의 뒤로 가는 점프를 방지한다.
• 윈도우 크기와 위치는 학습 가능한 파라미터를 통해 제어되며, 경사 하강법을 통한 엔드 투 엔드 학습이 가능하다.
• 모델은 디코더와 인코더의 은닉 상태 간의 호환성 점수를 국소 윈도우 내에서 계산하는 점수 함수를 사용하는 소프트 어텐션 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 국소적이고 단조적인 어텐션 메커니즘이 엔드 투 엔드 음성 및 언어 모델의 정렬 정확도를 향상시킬 수 있는가?
• RQ2 단조성과 국소성을 강제하면 계산 복잡도는 감소시키면서도 성능을 유지하거나 향상시킬 수 있는가?
• RQ3 윈도우 크기와 정렬 위치에 대한 다양한 제어 전략이 모델 성능에 어떤 영향을 미치는가?
• RQ4 고정 단계 크기의 국소 어텐션보다 동적 정렬 위치 예측이 가변적인 소스-타겟 길이 비율을 가진 작업에서 더 나은 성능을 내는가?
• RQ5 ASR, G2P, 기계 번역에서 제안된 메커니즘은 전역 어텐션과 이전의 국소 방법에 비해 어떻게 비교되는가?

주요 결과

• 제안된 모델은 전역 어텐션에 비해 영어-프랑스어 번역에서 최대 2.2 BLEU 포인트 향상되었고, 인도네시아어-영어 번역에서는 3.6 BLEU 포인트 향상되었다.
• 고정 단계 크기의 국소-m 어텐션에 비해 영어-프랑스어 번역에서 0.8 BLEU 포인트 향상되었고, 인도네시아어-영어 번역에서는 2.0 BLEU 포인트 향상되었다.
• 모델은 인코더 상태의 작은 국소적 윈도우에만 어텐션을 제한함으로써 계산 복잡도를 크게 감소시켰다.
• 동적 위치 예측 메커니즘은 음성 인식 및 G2P와 같이 길이 비율이 변동성이 큰 작업에서 더 나은 정렬을 가능하게 했다.
• 국소 단조성 어텐션 메커니즘은 ASR, G2P, 기계 번역과 같은 다양한 작업에서 일관된 성능 향상을 보였다.
• 수신 필드를 제한함으로써 정규화 역할을 효과적으로 수행하여 일반화 성능과 정렬 안정성을 향상시켰다.