[논문 리뷰] Lexically Constrained Neural Machine Translation with Levenshtein Transformer

Raymond Hendy Susanto, Shamil Chollampatt외 1명|arXiv (Cornell University)|2020. 04. 27.

Natural Language Processing Techniques참고 문헌 17인용 수 10

한 줄 요약

이 논문은 재학습 없이 디코딩 속도를 저하시키지 않고 추론 시 간단한 삽입 단계를 통해 어휘 제약 조건을 통합하는 빠른 비자기적(non-autoregressive) 방법을 제안한다. Levenshtein Transformer(LevT)를 사용하여 제약 조건을 적용하며, 이는 어휘 제약 조건을 100% 사용하고 제약 문장에서 BLEU 점수를 0.6 향상시켜 이전 방법들보다 정확도와 속도 면에서 뛰어난 성능을 달성한다.

ABSTRACT

This paper proposes a simple and effective algorithm for incorporating lexical constraints in neural machine translation. Previous work either required re-training existing models with the lexical constraints or incorporating them during beam search decoding with significantly higher computational overheads. Leveraging the flexibility and speed of a recently proposed Levenshtein Transformer model (Gu et al., 2019), our method injects terminology constraints at inference time without any impact on decoding speed. Our method does not require any modification to the training procedure and can be easily applied at runtime with custom dictionaries. Experiments on English-German WMT datasets show that our approach improves an unconstrained baseline and previous approaches.

연구 동기 및 목표

• 재학습 없이 도메인 전문 용어를 신경 기계 번역(NMT)에 강제 적용하는 문제를 해결하기 위해.
• 자기적 모델의 제약 조건 인식 비트 서치 디코딩에서 발생하는 계산 오버헤드를 극복하기 위해.
• 보장된 어휘 제약 조건 포함을 통해 실시간 고속 추론을 가능하게 하기 위해.
• 번역 품질을 유지하면서도 정확한 위치에 제약어를 배치하고 높은 사용률을 확보하기 위해.
• 사용자 정의 어휘 사전을 런타임에 쉽게 통합할 수 있는 즉시 사용 가능한 솔루션을 제공하기 위해.

제안 방법

• Levenshtein Transformer(LevT)를 활용하며, 이는 반복적인 삽입 및 삭제 연산을 통해 번역을 개선하는 비자기적 모델이다.
• 학습 과정을 수정하지 않고도 추론 중에 필요한 어휘 제약어를 적절한 위치에 삽입하는 제약 조건 삽입 단계를 도입한다.
• LevT에서 사용하는 동일한 세 개의 분류기(삭제, 자리표시자, 토큰 예측)를 유지하면서, 제약어 삽입 우선순위를 위한 논리를 추가한다.
• 제약어 내에서 삭제 또는 삽입을 선택적으로 금지하여 제약 조건 무결성을 확보함으로써 100% 사용률을 보장한다.
• 모델을 재학습하거나 데이터 증강 없이 추론 시에만 적용하여 원본 모델의 속도를 유지한다.
• 모든 분류기에서 공유되는 멀티헤드 자기주의 어텐션 메커니즘을 사용하며, 예측은 소스 입력과 현재 타겟 시퀀스에 조건화된다.

실험 결과

연구 질문

• RQ1 재학습 없이도 디코딩 속도를 저하시키지 않고 추론 시 어휘 제약 조건을 삽입할 수 있는가?
• RQ2 LevT와 같은 비자기적 디코딩 접근 방식은 자동적 비트 서치에 비해 효과적이고 효율적인 제약 조건 강제를 가능하게 하는가?
• RQ3 제약 조건 삽입이 속도를 유지하면서 어휘 사용률과 번역 품질을 얼마나 향상시킬 수 있는가?
• RQ4 제약 조건 비트 서치나 데이터 증강을 사용하는 이전 방법들과 비교해 본다면 이 방법은 어떻게 성능을 내는가?
• RQ5 수동으로 정렬하거나 재정렬하지 않고도 모델이 제약 조건을 올바른 문법적 위치에 배치할 수 있는가?

주요 결과

• 삭제 및 제약어 내 삽입을 금지할 경우 제안된 방법은 100% 어휘 사용률을 달성하며, 이는 이전 방법들보다 뚜렷이 뛰어난 성능을 보인다.
• 제약 문장에서 BLEU 점수가 0.6 포인트 향상되었으며(p < 0.05), 통계적으로 유의미한 결과이다.
• 전체 테스트 세트의 BLEU 점수는 제약어가 기준 텍스트의 1%에 불과함에도 불구하고 0.1 포인트 향상되었다.
• 제약 조건 삽입으로 인한 유의미한 속도 저하 없이 기준 LevT 모델과 동일한 디코딩 속도를 유지한다.
• Post18 및 Dinu19와 비교해 본 결과, Wiktionary와 IATE에서 각각 0.96 및 1.16의 절대 BLEU 향상률을 기록했으며, 100% 어휘 사용률을 확보했다.
• 무작위로 제약어를 삽입할 경우 BLEU 점수는 29.9에서 29.3로 감소하여, 제안된 방법이 기본 히وري스틱보다 더 정확하게 제약어를 배치함을 확인한다.