[논문 리뷰] Incorporating Terminology Constraints in Automatic Post-Editing

David Wan, Chris Kedzie외 3명|arXiv (Cornell University)|2020. 10. 19.

Natural Language Processing Techniques참고 문헌 13인용 수 4

한 줄 요약

이 논문은 기계 번역 출력에서 도메인 특화 어휘 어휘를 유지하기 위해 자동 후행 편집(APE)에 용어 제약 조건을 적용하는 방법을 제안한다. 자동회귀형 및 비자동회귀형 트랜스포머 모델을 사용하여, 번역 품질을 향상시키면서도 95%의 어휘 유지율을 달성한다. 또한 희귀하거나 의미적으로 다소 다를 수 있는 제약 조건에 대비한 강건성을 높이기 위해 데이터 증강 기법을 제안한다.

ABSTRACT

Users of machine translation (MT) may want to ensure the use of specific lexical terminologies. While there exist techniques for incorporating terminology constraints during inference for MT, current APE approaches cannot ensure that they will appear in the final translation. In this paper, we present both autoregressive and non-autoregressive models for lexically constrained APE, demonstrating that our approach enables preservation of 95% of the terminologies and also improves translation quality on English-German benchmarks. Even when applied to lexically constrained MT output, our approach is able to improve preservation of the terminologies. However, we show that our models do not learn to copy constraints systematically and suggest a simple data augmentation technique that leads to improved performance and robustness.

연구 동기 및 목표

• 자동 후행 편집(APE) 시스템에서 도메인 특화 어휘 제약 조건을 유지하지 못하는 격차를 해결한다.
• 사용자가 지정한 어휘 어휘를 체계적으로 유지할 수 있도록 APE 모델이 후행 편집 과정에서 이를 보장하도록 한다. 특히 이미 제약 조건이 적용된 기계 번역 출력에 적용되는 경우에도 유사하게 작동하도록 한다.
• 희귀하거나 의미적으로 다소 다를 수 있는 제약 조건(예: 동의어, 반의어)을 처리하는 데 있어 모델의 강건성을 향상시킨다.
• 자동회귀형(트랜스포머)과 비자동회귀형(레벤슈타인 트랜스포머) 아키텍처가 제약 조건이 있는 APE에 얼마나 효과적인지 조사한다.
• APE 모델에서 체계적인 제약 조건 복사 능력을 향상시키기 위한 데이터 증강 전략을 개발하고 평가한다.

제안 방법

• encoder 입력에 제약 토큰과 요인(예: 원천, 제약, 대상)을 추가하여 어휘 제약 조건을 명시적으로 표현한다.
• 지정된 어휘 쌍을 포함한 후행 편집 결과를 생성하도록 자동회귀형 트랜스포머(MST)와 비자동회귀형 레벤슈타인 트랜스포머(LevT) 모델을 훈련한다.
• 디코더를 목표 쪽 어휘 제약 조건을 포함한 부분 출력 시퀀스로 초기화하는 제약 조건 기반 디코딩 전략을 적용한다.
• 데이터 증강을 통해 대상 쪽 제약 조건을 동의어나 반의어로 교체함으로써, 사전 훈련 및 미세조정 과정에서 다양한 유형의 제약 조건에 노출되도록 한다(위키사전 사용).
• 표준 APE 평가 지표인 BLEU, TER, 어휘 유지율(Term%)을 사용해 모델 성능을 평가한다.
• 동의어나 반의어 등 의미적으로 다소 다를 수 있는 어휘로 제약 조건를 교체했을 때의 TER 및 BLEU 변화를 측정하여 모델의 안정성을 평가한다.

실험 결과

연구 질문

• RQ1 제약 조건이 있는 APE 모델은 번역 품질을 향상시키면서도 제공된 어휘 제약 조건의 95%를 유지할 수 있는가?
• RQ2 이미 어휘 제약 조건이 적용된 기계 번역 출력에 대해 제약 조건이 없는 APE를 적용할 경우, 제약 조건이 있는 APE와 비교해 얼마나 어휘를 잘 유지하는가?
• RQ3 APE 모델은 동의어나 반의어를 포함한 임의의 어휘 제약 조건을 체계적으로 복사하는 데 성공하는가?
• RQ4 동의어 및 반의어 제약 조건을 활용한 데이터 증강 전략이 모델의 강건성과 어휘 유지율에 얼마나 기여하는가?
• RQ5 의미적으로 다를 수 있는 목표 쪽 제약 조건(예: 동의어 대비 반의어)에 직면했을 때 제약 조건이 있는 APE 모델은 얼마나 안정적인가?

주요 결과

• 제약 조건이 있는 APE 모델은 자동회귀형 및 비자동회귀형 모델 모두에서 어휘 제약 조건의 95% 이상을 유지하며, 특히 LevT 모델이 가장 높은 커버리지 수준을 달성한다.
• 제약 조건이 없는 APE를 제약 조건이 적용된 기계 번역 출력에 적용했을 경우 어휘 유지율이 12.6% 상대적으로 감소함을 확인하여, 제약 조건 인식 APE의 필요성을 입증한다.
• 모델은 동의어나 반의어와 같은 이례적인 제약 조건을 체계적으로 복사하지 못하며, MST 모델은 반의어 'Verkleinerung'를 완전히 누락한다.
• 동의어 및 반의어를 활용한 데이터 증강 전략은 번역 품질(낮은 TER, 높은 BLEU)과 어휘 유지율을 모두 향상시키며, 특히 미세조정 단계에서 적용했을 때 효과가 뚜렷하다.
• 동의어 유지가 반의어 유지보다 더 어려운 편이었으며, 이는 원래의 어휘를 더 선호하는 언어 모델의 사전 지식 때문일 가능성이 높다.
• 레벤슈타인 트랜스포머 모델은 제약 조건 변화에 따라 더 높은 TER 점수를 보이며, 자동회귀형 모델 대비 안정성이 떨어지는 것으로 나타나, 속도와 일관성 사이의 상충 관계를 시사한다.