[논문 리뷰] Improving Word Sense Disambiguation in Neural Machine Translation with Salient Document Context

Elijah Rippeth, Marine Carpuat외 2명|arXiv (Cornell University)|2023. 11. 27.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 신경 기계 번역(NMT)에서 어휘의 의미 해석을 향상시키기 위해 모델 아키텍처를 수정하지 않고, 가짜 문서(의도적으로 구성된 관련 문장 집합)에서 추출한 주요 키워드를 소스 문장의 접두어로 붙이는 단순하고 확장 가능한 방법을 제안한다. 이 방법은 실제 문서 수준 데이터 대신 노이즈가 섞인 가짜 문서를 사용함으로써 학습 비용을 절감하면서도, 새로운 테스트 세트인 doc-MuCoW에서 문장 수준 및 문서 수준의 기준 모델을 모두 능가한다.

ABSTRACT

Lexical ambiguity is a challenging and pervasive problem in machine translation (\mt). We introduce a simple and scalable approach to resolve translation ambiguity by incorporating a small amount of extra-sentential context in neural \mt. Our approach requires no sense annotation and no change to standard model architectures. Since actual document context is not available for the vast majority of \mt training data, we collect related sentences for each input to construct pseudo-documents. Salient words from pseudo-documents are then encoded as a prefix to each source sentence to condition the generation of the translation. To evaluate, we release \docmucow, a challenge set for translation disambiguation based on the English-German \mucow \cite{raganato-etal-2020-evaluation} augmented with document IDs. Extensive experiments show that our method translates ambiguous source words better than strong sentence-level baselines and comparable document-level baselines while reducing training costs.

연구 동기 및 목표

• 문장 수준 번역 모델이 문맥 외 정보가 부족하여 어휘의 의미 해석(WSD)에 실패하는 지속적인 과제를 해결하기 위해.
• 모델 아키텍처 변경이나 의미 해석 레이블 없이도 문장 수준 번역 시스템에 문서 수준의 맥락을 통합할 수 있는 방법을 개발하기 위해.
• 문서 수준의 WSD 성능을 측정할 수 있도록 문서 ID를 추가한 새로운 도전적인 테스트 세트인 doc-MuCoW를 통해 방법을 평가하기 위해.
• 가짜 문서에서 주요 맥락을 추출하는 기법이 전체 문서 수준 모델과 유사한 성능을 달성하면서도 학습 비용의 일부에 불과한 비용으로도 성능 향상을 이룰 수 있음을 보여주기 위해.

제안 방법

• 유사한 URL, 주제 또는 클러스터링 기반으로 병렬 단어장 데이터(예: ParaCrawl)에서 관련 문장을 집계하여 노이즈가 있지만 정보가 풍부한 '가짜 문서'를 구성한다.
• TF-IDF 또는 BERT 기반 임베딩 유사도와 같은 주요도 함수를 적용하여 각 가짜 문서에서 상위-k개의 관련성이 높은 키워드를 추출한다.
• 각 소스 문장에 상위-k개의 주요 단어를 접두어로 붙여 수정된 입력 시퀀스를 형성한다: $ x' = \hat{\mathbf{w}}^k \oplus [\langle\textsc{SEP}\rangle] \oplus x $, 이는 번역 모델이 전반적인 맥락에 조건화되도록 한다.
• 기존 시스템 및 학습 파ip라인과의 호환성을 확보하기 위해 표준 신경 기계 번역 모델 아키텍처, 손실 함수 및 디코딩 프로세스를 유지한다.
• 학습 및 추론 모두에서 동일한 접두어 기법을 사용하여 최소한의 수정으로 종단 간 학습을 가능하게 한다.
• MuCoW에서 문서 ID를 추가하여 도출된 새로운 테스트 세트인 doc-MuCoW에서 성능을 평가한다.

Figure 3: # $\textsc{pos}_{\texttt{sys}}$ - # $\textsc{pos}_{\texttt{sent}}$ for each context-aware sys as a function of subword-segmented source sentence length. Shorter sentences benefit more from context under saliency-based models with more context, with diminishing returns with more intra-sente

실험 결과

연구 질문

• RQ1 가짜 문서에서 추출한 주요 키워드가 문장 수준 신경 기계 번역에서 어휘의 의미 해석을 향상시킬 수 있는가?
• RQ2 이 방법은 학습 비용을 절감하면서도 강력한 문장 수준 기준 모델 및 유사한 문서 수준 모델을 능가하는가?
• RQ3 문장 길이와 어휘의 모호성에 따라 성능 향상은 어떻게 달라지는가?
• RQ4 주요도 함수 선택(TF-IDF 대비 BERT)이 WSD 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• 제안된 방법은 doc-MuCoW 테스트 세트에서 문장 수준 및 문서 수준의 기준 모델보다 뛰어난 어휘의 의미 해석 성능을 달성하여 주요 맥락의 효과성을 입증한다.
• WSD에 특화된 평가에서 강력한 문장 수준 기준 모델보다 +1.8 BLEU 향상되어 의미 해석 정확도 향상이 뚜렷하게 나타난다.
• 성능 향상은 특히 짧은 문장에서 가장 두드러지며, 문장 수준 맥락이 부족할 경우에 더 큰 도움이 된다는 것을 시사한다.
• 전체 문서 수준 모델이 요구하는 복잡한 아키텍처와 대규모 문서 순서 데이터가 필요로 하는 것과는 달리, 이 방법은 학습 비용을 크게 절감한다.
• TF-IDF와 BERT 기반 주요도 함수 모두 뛰어난 성능를 보이며, 특히 모호한 어휘에 대해서는 BERT 기반 주요도가 略로 더 우수한 성능을 보인다.
• 이 프레임워크는 잘 일반화된다: 노이즈가 섞이고 자동으로 구성된 가짜 문서를 사용해도 성능 유지가 가능하여 데이터 품질 문제에 대해 뛰어난 내구성을 보인다.