[논문 리뷰] Addressing Exposure Bias With Document Minimum Risk Training: Cambridge at the WMT20 Biomedical Translation Task

Danielle Saunders, Bill Byrne|arXiv (Cornell University)|2020. 10. 11.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 소규모이자 완벽하게 정렬되지 않은 Medline 초록에 대해 피니튜닝할 때 생기는 노출 편향을 완화하기 위해 문서 수준 최소 위험 훈련(doc-MRT)을 제안한다. 위험 기반 목적 함수를 사용해 번역 후보를 기준 번역과 직접적으로 최적화함으로써, 앙상블 없이도 최신 기술 수준(SOTA) 성능을 달성한다—영어-스페인어 번역에서 최고, 스페인어-영어 번역에서 두 번째로 높은 점수를 기록한다. 이는 노이즈가 있는, 제목이 포함된 문장이 포함된 훈련 데이터가 존재하더라도 성립한다.

ABSTRACT

The 2020 WMT Biomedical translation task evaluated Medline abstract translations. This is a small-domain translation task, meaning limited relevant training data with very distinct style and vocabulary. Models trained on such data are susceptible to exposure bias effects, particularly when training sentence pairs are imperfect translations of each other. This can result in poor behaviour during inference if the model learns to neglect the source sentence. The UNICAM entry addresses this problem during fine-tuning using a robust variant on Minimum Risk Training. We contrast this approach with data-filtering to remove `problem' training examples. Under MRT fine-tuning we obtain good results for both directions of English-German and English-Spanish biomedical translation. In particular we achieve the best English-to-Spanish translation result and second-best Spanish-to-English result, despite using only single models with no ensembling.

연구 동기 및 목표

• Medline 초록에서 노이즈가 있고 완벽하게 정렬되지 않은 문장 쌍으로 인해 발생하는 저자원 생물의학 기계 번역에서의 노출 편향을 해결하기 위해.
• 원천 및 대상 문장에 일치하지 않거나 중복된 내용(예: 삽입된 기사 제목)이 포함된 노이즈가 있는 훈련 데이터에서 최소 위험 훈련(MRT)이 효과적으로 작동하는지 평가하기 위해.
• 소도메인 생물의학 데이터에서 데이터 필터링과 MRT 피니튜닝의 효과를 비교하여 번역 품질 향상 여부를 평가하기 위해.
• 제목이 삽입된 문장과 같은 문제가 있는 예제가 포함된 훈련 데이터에서도 MRT가 표준 MLE 피니튜닝을 능가할 수 있는지 판단하기 위해.

제안 방법

• 최소 위험 훈련(MRT)을 사용하여 Medline 초록 전용으로 강력한 사전 훈련된 NMT 모델을 피니튜닝함으로써, 후보 번역에 대한 기대 손실을 최소화함으로써 번역 품질을 최적화한다.
• 전체 문서를 고려하는 문서 수준의 MRT(doc-MRT)를 적용하여 문장 수준의 정렬 오류 및 노이즈가 있는 예제에 대한 강건성을 향상시킨다.
• 후보 번역과 기준 번역 간의 차이를 기반으로 모델 파라미터를 업데이트하는 위험 기반 목적 함수를 사용하여, 금본 기준 토큰에 대한 과도한 의존도를 줄인다.
• 원천 또는 대상에서 대괄호로 감싸진 제목([Title] 등)을 포함한 문장을 제거하기 위한 데이터 필터링 전략을 구현하고, 필터링 유무에 따른 성능을 비교한다.
• 빔 서치(빔 크기 4)를 사용하여 추론을 수행하고, 다중 문장 테스트 입력에 대해 NLTK를 활용해 문장 분할을 적용하여 출력 품질을 향상시킨다.
• 사레블루를 평가에 사용하며, 대소문자 무시, 디토크나이징된 점수를 적용하고, 훈련 변동성을 줄이기 위해 체크포인트 평균화를 시행한다.

실험 결과

연구 질문

• RQ1 훈련 데이터에 완벽하게 정렬되지 않은 문장 쌍이 포함된 경우, 문서 수준 최소 위험 훈련이 생물의학 기계 번역에서 노출 편향을 효과적으로 줄일 수 있는가?
• RQ2 특정 도메인의 소규모 생물의학 데이터에서 MRT 피니튜닝이 표준 MLE 피니튜닝을 능가하는가? 특히 제목이 삽입된 문장과 같은 노이즈가 있는 예제가 포함된 경우에 대해.
• RQ3 MRT는 노이즈가 있는 훈련 데이터에 강건한가, 아니면 문제가 있는 문장을 강하게 제거한 필터링된 데이터를 사용할 때 성능 향상이 더 크기는 한가?
• RQ4 원천 또는 대상에 중복되거나 일치하지 않는 내용(예: 기사 제목)이 포함되어 있을 경우, MLE는 성능에 악영향을 주지만 MRT는 그렇지 않은가?
• RQ5 기본 MLE 모델이 특정 언어 쌍에서 성능이 열등한 경우에도 MRT는 앙상블 없이 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• WMT20 생물의학 과제에서 모든 시스템 중 영어-스페인어 번역에서 가장 높은 점수를 기록한 것은, 전체 Medline 데이터에 대해 doc-MRT로 피니튜닝한 단일 모델이었다.
• 동일한 doc-MRT 접근 방식을 통해 스페인어-영어 번역에서 두 번째로 높은 점수를 기록하여, 양 방향에서 강력한 성능을 보였다.
• 노이즈가 있는 전체 훈련 세트를 사용하더라도, doc-MRT는 모든 언어 쌍에서 최고의 MLE 모델 대비 BLEU 점수를 최대 0.8 향상시켰다.
• 제목이 삽입된 문장을 강하게 필터링하면 독일어-영어 번역에서는 성능 향상이 있었지만, 영어-독일어 및 영어-스페인어 번역에서는 성능 저하가 발생하여, 이러한 데이터가 유용할 수 있음을 시사했다.
• 노이즈가 있는 예제가 포함된 전체 데이터에 대해 MRT 피니튜닝을 수행한 결과 MLE보다 우수했으며, '제목 제거'된 필터링된 데이터에 대해 MRT를 적용한 결과도 거의 동일한 성능을 기록하여 MRT의 노이즈에 대한 강건성을 입증했다.
• 모든 언어 쌍에서 MRT 모델은 최고 또는 공동 최고의 성능이었으며, 데이터 필터링 없이 노출 편향을 효과적으로 줄이는 데 성공했음을 확인했다.