[논문 리뷰] Online and Linear-Time Attention by Enforcing Monotonic Alignments

Colin Raffel, Minh-Thang Luong외 3명|arXiv (Cornell University)|2017. 04. 03.

Topic Modeling참고 문헌 29인용 수 197

한 줄 요약

본 논문은 단조로운 하드 어텐션 메커니즘을 제안하여 시퀀스-투-시퀀스 모델에서 온라인 및 선형 시간 복호화를 가능하게 하고, 기대값으로 학습하며, 요약, 번역, 온라인 음성 인식에서 경쟁력 있는 성능을 달성한다.

ABSTRACT

Recurrent neural network models with an attention mechanism have proven to be extremely effective on a wide variety of sequence-to-sequence problems. However, the fact that soft attention mechanisms perform a pass over the entire input sequence when producing each element in the output sequence precludes their use in online settings and results in a quadratic time complexity. Based on the insight that the alignment between input and output sequence elements is monotonic in many problems of interest, we propose an end-to-end differentiable method for learning monotonic alignments which, at test time, enables computing attention online and in linear time. We validate our approach on sentence summarization, machine translation, and online speech recognition problems and achieve results competitive with existing sequence-to-sequence models.

연구 동기 및 목표

• 입력-출력 정합을 단조롭게 강제함으로써 온라인 및 선형 시간 복호화를 가능하게 하는 어텐션 메커니즘을 동기 부여하고 개발한다.
• 테스트 시점에 온라인 디코딩을 허용하면서 단조 어텐션 프로세스의 기대 출력값을 최적화하는 미분 가능한 학습 방법을 공식화한다.
• 메서드를 문장 요약, 기계 번역, 온라인 음성 인식에 걸쳐 평가하여 성능과 효율성 간의 트레이드오프를 평가한다.
• 소프트 어텐션 기반의 기준 및 다른 온라인 방식과 비교하여 향상된 디코딩 속도와 함께 경쟁력 있는 정확성을 입증한다.

제안 방법

• 소프트 어텐션을 확률적 과정의 기대 출력으로 재정의하고, 기억을 좌→우로 스캔하며 출력을 방출할 때 멈추는 하드 단조 어텐션 프로세스를 도입하여 온라인 및 선형 시간 복호화를 가능하게 한다.
• 메모리 위치에 대한 재발(알파)로 기대 컨텍스트 벡터를 계산하여 차별가능한 학습 절차를 도출하고, 테스트 시점의 비미분 샘플링에도 불구하고 역전파가 가능하게 한다.
• 에너지 함수를 학습된 오프셋 r을 포함하도록 수정하고 가중치 정규화를 적용하여 학습의 안정을 도모하며, 학습 시/테스트 시 정렬의 일관성을 촉진하기 위해 시그모이드 전에 가우시안 노이즈를 도입하여 p_{i,j}의 이산성을 촉진한다.
• 모든 메모리 위치에 걸친 합으로의 정규화 대신 온라인 디코딩 동작을 보존하고 단조 디코딩 체계와의 호환성을 유지하는 대안을 제시한다.

실험 결과

연구 질문

• RQ1 온라인 디코딩을 허용하면서 시퀀스-투-시퀀스 작업에 대해 단조적이고 하드한 정렬을 엔드투엔드로 학습할 수 있는가?
• RQ2 단조 어텐션 메커니즘을 사용할 때의 학습 시점 영향과 기대 출력값을 통한 학습이 테스트 시점의 하드 디코딩과 성능 면에서 어떻게 비교되는가?
• RQ3 단조 어텐션 모델이 엄격한 단조 도메인 이외의 작업(국소적 재배열이 있는 번역, 문장 요약 등)에서도 선형 시간 디코딩을 제공하면서 경쟁력 있는 성과를 거두는가?
• RQ4 에너지 함수의 수정과 정규화 전략이 학습된 정렬의 안정성과 이산성에 어떤 영향을 미치는가?

주요 결과

• 하드 단조 어텐션은 기억을 좌→우로 처리하고 출력할 때 멈춤으로써 온라인, 선형 시간 디코딩을 달성하여 복잡도를 O(max(T,U))로 감소시킨다.
• 단조 어텐션의 기대값을 이용한 학습은 테스트 시점에 온라인 디코딩을 가능하게 하면서 소프트 어텐션과 경쟁력 있는 성능을 제공한다.
• TIMIT에서 하드 단조 어텐션은 20.4%의 전화오류율을 보이며(CTC 19.6%, 오프라인 소프트 단조 20.1%와 비교), 소프트 단조가 약간 더 나은 20.1%를 디코드한다.
• WSJ 음성 인식에서 하드 단조 어텐션은 17.4% WER에 도달(소프트 단조 16.5%, 오프라인 소프트맥스 어텐션 16.0%와 비교).
• 문장 요약(Gigaword)에서 하드 단조는 ROUGE-F1 점수 R1=37.14, R2=18.00, R-L=34.87를 달성하여 경쟁력이 있지만 강력한 기준선보다 다소 낮다; 소프트 단조는 이러한 지표에서 다소 낮은 성능을 보인다.
• 영어→베트남어 번역에서 온라인 디코딩을 갖춘 단조 어텐션은 perplexity와 BLEU에서 소프트맥스 기준선에 비해 경쟁력을 유지하여 엄밀한 단조 도메인 이외의 영역에서도 적용 가능성을 보여준다.