[논문 리뷰] Denoising Neural Machine Translation Training with Trusted Data and Online Data Selection

Wei Wang, Taro Watanabe외 3명|arXiv (Cornell University)|2018. 08. 31.

Natural Language Processing Techniques참고 문헌 19인용 수 13

한 줄 요약

이 논문은 신경 기계 번역(NMT)을 위한 노이즈 제거 학습 프레임워크를 제안하며, 소규모 신뢰할 수 있는 병렬 데이터셋을 사용해 학습 중 노이즈를 측정하고 점진적으로 감소시킨다. 노이즈가 있는 NMT 모델과 약간 더 깔끔한 모델 간의 대조 모델링을 기반으로 한 온라인 데이터 선택을 활용함으로써, 웹 크롤링된 노이즈가 있는 데이터에서 번역 품질을 크게 향상시켰으며, 기준 모델 대비 특허 테스트 세트에서 최대 +10.4 BLEU를 기록했다.

ABSTRACT

Measuring domain relevance of data and identifying or selecting well-fit domain data for machine translation (MT) is a well-studied topic, but denoising is not yet. Denoising is concerned with a different type of data quality and tries to reduce the negative impact of data noise on MT training, in particular, neural MT (NMT) training. This paper generalizes methods for measuring and selecting data for domain MT and applies them to denoising NMT training. The proposed approach uses trusted data and a denoising curriculum realized by online data selection. Intrinsic and extrinsic evaluations of the approach show its significant effectiveness for NMT to train on data with severe noise.

연구 동기 및 목표

• 신경 기계 번역(NMT)에서 데이터 노이즈 문제에 대해 다루지 않은 바가 많으며, 이는 통계적 번역보다 모델 성능 저하에 더 심각한 영향을 미친다.
• 원래 도메인 관련성에 대해 설계된 성공적인 도메인 데이터 선택 기법을 일반화하여, NMT에서 데이터 품질 문제를 다룰 수 있는 노이즈 제거 프레임워크로 활용한다.
• 소규모 신뢰할 수 있는 데이터셋을 기준으로 하여 학습 도중에 노이즈를 동적으로 측정할 수 있는 방법을 개발한다.
• 웹 크롤링된 Paracrawl 데이터와 같이 실제 세계에서의 노이즈가 있는 병렬 데이터, 예를 들어 오류 정렬, 부분 번역, 어휘 흐름 문제 등이 포함된 데이터에서 NMT의 강인성을 향상시킨다.

제안 방법

• 이 방법은 동일한 데이터에서 학습된 노이즈가 있는 NMT 모델과 약간 더 깔끔한 모델 간의 모델 행동 차이를 노이즈로 정의한다. 이는 서로 다른 초기화 또는 데이터 필터링 방식을 사용한다.
• 소규모 신뢰할 수 있는 병렬 데이터셋(예: WMT newstest)을 기준으로 하여 노이즈 제거 모델을 학습하고, 이를 사용해 각 훈련 문장 쌍의 노이즈 점수를 계산한다.
• 노이즈 점수는 식(4)를 사용해 계산되며, 이는 각 문장 쌍에서 노이즈가 있는 모델과 노이즈 제거 모델의 교차 엔트로피 손실을 비교한다.
• 온라인 데이터 선택은 노이즈 수준에 따라 훈련 배치를 동적으로 순위 매김함으로써, 시간이 지남에 따라 점점 더 깔끔한 데이터로 모델을 학습시킨다.
• 번역 전용 노이즈를 더 잘 포착하기 위해, 전통적인 언어 모델이 아닌 순서-순서 NMT 모델을 사용해 노이즈 점수를 계산한다.
• 신뢰할 수 있는 데이터와 다른 년도의 개발 세트를 사용함으로써 도메인 적응 편향을 방지하여, 향상 효과가 노이즈 제거에서 비롯된 것이며 도메인 이동 때문이 아니라는 것을 보장한다.

실험 결과

연구 질문

• RQ1 도메인 데이터 선택에서 사용되는 데이터 품질 메트릭스를 NMT 학습에서 노이즈를 측정하고 줄이기 위해 적응시킬 수 있는가?
• RQ2 모델 비교에 기반한 동적이고 온라인 데이터 선택은 정적 필터링이나 도메인 기반 선택에 비해 노이즈가 있는 데이터에서 NMT 성능을 어떻게 향상시키는가?
• RQ3 소규모 신뢰할 수 있는 데이터셋을 기준으로 노이즈 측정을 수행할 경우, 언어 모델이나 히우리스틱에만 의존하는 것보다 더 효과적인 노이즈 제거가 가능한가?
• RQ4 제안된 방법은 부분적으로 유용한가, 혹은 해로운가의 노이즈 예제를 구분할 수 있는가? 특히 문장 쌍의 일부만 정확한 번역인 경우에도 말이다.
• RQ5 제안된 방법의 향상 효과는 노이즈 제거 때문인가, 아니면 뜻하지 않은 도메인 적응 효과 때문인가?

주요 결과

• 제안된 NMT 기반의 노이즈 점수 측정 방법은 언어 모델 기반 선택보다 뚜렷이 뛰어나며, 상위 20%의 선택된 데이터로 파인튜닝할 경우 특허 테스트 세트에서 기준 모델 대비 +10.4 BLEU를 기록한다.
• 언어 모델 기반 방법은 노이즈 제거에 실패하며, 인간 평가와 상관관계가 없고 기준 모델 대비 BLEU 점수 하락(31.8 vs. 31.6)을 초래한다.
• 온라인 노이즈 제거 방법(P3)은 선택된 데이터로 단순 파인튜닝(P2)보다 성능이 뛰어나며, 정적 필터링보다 동적이고 커리큘럼 기반 학습이 더 효과적임을 시사한다.
• 이 방법은 세 가지 테스트 세트 모두에서 번역 정확도를 향상시킨다: n2014에서 +2.5 BLEU, d2015에서 +3.8 BLEU, 특허에서 +10.4 BLEU를 기록하며, 다양한 도메인에서 일관된 성과를 보인다.
• 도메인 적응 효과가 아닌 노이즈 제거 때문임을 확인하기 위해 다른 년도의 개발 세트를 사용했으며, 도메인 기반 선택 방법이 성능 향상을 이룰 수 없음을 관찰함으로써 이를 뒷받침한다.
• 결과적으로, 두 NMT 모델 간의 대조 모델링을 통한 노이즈 측정이 언어 모델에 의존하는 것보다 더 효과적임을 보여주며, 언어 모델은 번역 전용 노이즈를 위한 것으로 설계되지 않았다.