[논문 리뷰] Learning Efficient Lexically-Constrained Neural Machine Translation with External Memory

Ya Li, Xinyu Liu외 3명|arXiv (Cornell University)|2019. 01. 31.

Natural Language Processing Techniques참고 문헌 18인용 수 4

한 줄 요약

이 논문은 외부 메모리를 통해 어휘 제약 번역을 학습하는 메모리 증강 신경 기계 번역 모델을 제안한다. 기존의 빔 서치에 비해 높은 계산 비용과 유연하지 못한 디코딩 문제를 피하기 위해 개발되었다. 메모리 주의 메커니즘과 소프트맥스 손실을 활용해 관련 제약 슬롯에 주의를 기울이도록 유도함으로써, 이 방법은 효율적이고 유창하며 영리한 제약 번역을 실현하며, 중국어-영어 및 영어-독일어 작업에서 BLEU 점수 향상을 달성한다.

ABSTRACT

Recent years has witnessed dramatic progress of neural machine translation (NMT), however, the method of manually guiding the translation procedure remains to be better explored. Previous works proposed to handle such problem through lexcially-constrained beam search in the decoding phase. Unfortunately, these lexically-constrained beam search methods suffer two fatal disadvantages: high computational complexity and hard beam search which generates unexpected translations. In this paper, we propose to learn the ability of lexically-constrained translation with external memory, which can overcome the above mentioned disadvantages. For the training process, automatically extracted phrase pairs are extracted from alignment and sentence parsing, then further be encoded into an external memory. This memory is then used to provide lexically-constrained information for training through a memory-attention machanism. Various experiments are conducted on WMT Chinese to English and English to German tasks. All the results can demonstrate the effectiveness of our method.

연구 동기 및 목표

• 신경 기계 번역에서 어휘 제약 빔 서치의 한계를 해결하기 위해 높은 계산 비용과 유연하지 못한 디코딩을 개선한다.
• 큰 빔 크기를 요구하지 않고도 사용자가 지정한 어휘 제약 조건 하에서 효율적이고 유창한 번역을 가능하게 한다.
• 외부 메모리를 통합해 추론 중 번역을 유도하는 학습 가능한 소프트 제약 메커니즘을 개발한다.
• 정렬과 구문 분석을 활용해 이원 병렬 코퍼스에서 어휘 수준의 제약 조건을 자동으로 추출하여 확장 가능한 훈련을 가능하게 한다.
• 하드 빔 서치 방법과 비교해 정확한 제약 조건뿐 아니라 오류가 있는 제약 조건에서도 번역 품질과 강건성을 향상시킨다.

제안 방법

• 정렬과 문법 분석을 사용해 이원 병렬 문장에서 어휘 쌍을 추출하여 어휘 제약 지식 기반을 구성한다.
• 키와 값으로 구성된 외부 메모리에 이러한 어휘 쌍을 인코딩하며, 키는 원천 어휘를, 값은 목표 번역을 나타낸다.
• 디코더가 디코딩 중 관련 메모리 슬롯에 주의를 기울일 수 있도록 메모리 주의 메커니즘을 도입한다.
• 훈련 중 정확한 메모리 슬롯에 주의를 기울이도록 보장하기 위해 소프트맥스 손실을 적용하여 제약 조건과 목표 출력 간의 정렬을 향상시킨다.
• 표준 NMT 목표와 함께 메모리 기반 제약 유도를 통합하여 모델을 종합적으로 훈련한다.
• 추론 시 표준 빔 서치(빔 크기 12)를 사용하여, 제약 조건 수에 비례해 복잡도가 증가하지 않는 효율적인 디코딩을 가능하게 한다 — 이는 이전 방법들이 큰 빔 크기를 요구했던 것과는 다릅니다.

실험 결과

연구 질문

• RQ1 메모리 증강 NMT 모델은 계산 비용이 높은 빔 서치에 의존하지 않고도 효율적이고 효과적인 어휘 제약 번역을 달성할 수 있는가?
• RQ2 제안된 메모리 주의 메커니즘이 번역의 자연스러움을 유지하면서 제약 준수를 어떻게 향상시키는가?
• RQ3 정렬과 분석을 통해 자동으로 추출된 어휘 쌍이 훈련을 위한 신뢰할 수 있는 제약 조건으로 얼마나 유용한가?
• RQ4 특히 제약 조건이 잘못되었거나 모호한 경우, 다양한 수의 제약 조건 하에서 모델의 성능은 어떠한가?
• RQ5 기존의 어휘 제약 빔 서치 기법과 비교해 BLEU 점수와 자연스러움 측면에서 본 모델이 더 우수한 성능을 보이는가?

주요 결과

• 제안된 LCNMT 모델은 모든 제약 비율(30%, 50%, 70%)에서 WMT 영어-독일어 번역 작업에서 최고의 BLEU 점수를 기록했다.
• 중국어-영어 작업에서는 DBA 방법과 유사한 성능을 달성했으며, 생성된 출력의 자연스러움이 뚜렷하게 향상되었다.
• 하드 빔 서치 방법과 달리, 잘못되거나 충돌하는 제약 조건이 제공되어도 예상치 못하거나 비자연스러운 번역을 피했다.
• 표준 빔 크기 12를 사용해도 효율적인 추론을 유지하여, 제약 조건 수에 따라 디코딩 복잡도가 증가하지 않는다는 점을 입증했다.
• 소프트맥스 손실에 의해 유도된 메모리 주의 메커니즘이 관련 제약 슬롯에 정확한 주의를 기울여, 자연스러움을 훼손하지 않은 채 제약 준수를 향상시켰다.
• 자동 어휘 추출 파이프라인은 병렬 코퍼스에서 유용한 제약 조건을 성공적으로 생성하여 새로운 이원 데이터셋에 대해 제로샷 적응이 가능하게 했다.