[논문 리뷰] Exact Hard Monotonic Attention for Character-Level Transduction

Shijie Wu, Ryan Cotterell|arXiv (Cornell University)|2019. 05. 15.

Natural Language Processing Techniques참고 문헌 22인용 수 4

한 줄 요약

이 논문은 동적 프rogramming을 사용하여 단일 모델에서 단조성 정렬과 변환을 동시에 학습함으로써 문자 수준의 시퀀스-투-시퀀스 변환을 위한 정확한 하드 단조성 어텐션 메커니즘을 제안한다. 엄격한 단조성 제약 조건을 통해 공동 학습을 시행함으로써, 형태소 축약 작업에서 최고 성능을 기록하고, 그래프음소-음소 및 번역 작업에서도 뛰어난 성능을 달성한다. 비단조성 및 파ipel라인 기반의 기준 모델을 모두 능가한다.

ABSTRACT

Many common character-level, string-to string transduction tasks, e.g., grapheme-tophoneme conversion and morphological inflection, consist almost exclusively of monotonic transductions. However, neural sequence-to sequence models that use non-monotonic soft attention often outperform popular monotonic models. In this work, we ask the following question: Is monotonicity really a helpful inductive bias for these tasks? We develop a hard attention sequence-to-sequence model that enforces strict monotonicity and learns a latent alignment jointly while learning to transduce. With the help of dynamic programming, we are able to compute the exact marginalization over all monotonic alignments. Our models achieve state-of-the-art performance on morphological inflection. Furthermore, we find strong performance on two other character-level transduction tasks. Code is available at https://github.com/shijie-wu/neural-transducer.

연구 동기 및 목표

• 형태소 축약 및 그래프음소-음소 변환과 같은 문자 수준의 변환 작업에서 단조성이 유용한 유도적 편향인지 조사하기 위해.
• 이전의 단조성 모델이 성능이 열등한 이유를 단조성과 변환 모델을 별도로 학습하는 파이프라인 방식이 아닌, 함께 학습함으로써 해결하기 위해.
• 동적 프로그래밍을 이용한 정확한 추론 알고리즘을 개발하여, 단조성 정렬에 대해 엔드 투 엔드 학습이 가능하도록 하기 위해.
• 엄격한 단조성을 강제로 적용할 경우 비단조성 또는 느슨하게 제약된 모델보다 성능 향상이 이루어지는지 평가하기 위해.
• 단조성 제약 조건 하에서 1차 모델(1st-order)이 더 단순한 0차 모델(0th-order)보다 성능 향상을 이룰 수 있는지 여부를 결정하기 위해.

제안 방법

• Wu 등(2018)의 0차 하드 어텐션 모델을 확장하여, 모든 유효한 단조성 정렬에 대한 정확한 마진칼라이제이션을 동적 프로그래밍 기반으로 구현함으로써 정확한 단조성 정렬을 강제한다.
• 정렬 전이를 마코프 성질을 갖도록 모델링하는 1차 하드 어텐션 버전을 도입하여, 더 표현력 있는 정렬 학습을 가능하게 하면서도 단조성은 유지한다.
• O(|x|·|y|·|Σ_y|) 시간 복잡도로 단조성 정렬 제약 조건 하에서 타겟 시퀀스의 정확한 로그우도를 계산하기 위해 동적 프로그래밍을 사용한다.
• 추론을 위해 게리 디코딩 기법을 사용하고, 정렬과 변환을 동시에 최적화하는 공동 학습 목표함수를 적용한다.
• 지수적 복잡도를 피하기 위해 합산 항의 순서를 재정렬하여, 단조성 정렬에 대한 마진럴 우도의 계산을 효율적으로 수행한다.
• 모델을 세 가지 문자 수준의 변환 작업에 적용한다: 형태소 축약, 그래프음소-음소 변환, 명명된 실체 번역

실험 결과

연구 질문

• RQ1 하드 어텐션에 엄격한 단조성을 강제로 적용할 경우, 문자 수준의 변환 작업에서 성능 향상이 이루어지는가?
• RQ2 이전의 단조성 모델이 성능이 열등한 이유는 정렬과 변환 간의 공동 학습이 이루어지지 않았기 때문인가?
• RQ3 단조성 정렬에 대해 정확한 동적 프로그래밍 추론이 비단조성 또는 파이프라인 시스템보다 더 좋은 일반화 성능을 보일 수 있는가?
• RQ4 단조성 제약 조건 하에서 모델 용량을 증가시킬 경우(1차 대비 0차), 성능 향상이 이루어지는가?
• RQ5 정렬을 사전에 계산하는 것이 아니라 함께 학습할 경우, 단조성이 실제로 도움이 되는 유도적 편향인가?

주요 결과

• 1차 단조성 하드 어텐션 모델은 CoNLL-SIGMORPHON 2017 형태소 축약 공유 과제에서 단일 모델로 최고 성능을 기록하며, 정확도 94.8%를 달성하여 이전 최고의 단일 모델을 초월한다.
• 0차 단조성 모델(0-mono)은 모든 세 가지 과제에서 비단조성 0-하드 및 소프트 어텐션 모델보다 뛰어난 성능을 보이며, 정렬을 공동 학습할 경우 엄격한 단조성이 유리함을 시사한다.
• 1차 단조성 모델(1-mono)은 그래프음소-음소 변환(41.2% ACC)과 명명된 실체 번역(0.113 MLD) 과제에서 최고 성능을 기록하며, 일부 과제에서는 더 높은 표현력이 유리함을 보여준다.
• 형태소 축약 과제에서 0-mono와 1-mono 모델이 모두 94.8%로 동점이 되어, 1차 모델의 추가 파rameter가 항상 성능 향상에 기여하지는 않지만, 단조성 제약 조건이 핵심 요소임을 시사한다.
• 0-mono 모델은 모든 과제에서 0-hard 모델을 능가하며, 비단조성 또는 파이프라인 접근 방식보다 단조성 정렬의 공동 학습이 더 효과적임을 입증한다.
• 결과는 이전 단조성 모델의 성능 열등성이 단조성 자체 때문이 아니라, 공동 학습의 부재 때문이었을 가능성이 높다는 것을 시사한다.