[논문 리뷰] Improving Back-Translation with Uncertainty-based Confidence Estimation

Shuo Wang, Yang Liu외 3명|arXiv (Cornell University)|2019. 08. 31.

Natural Language Processing Techniques참고 문헌 45인용 수 9

한 줄 요약

이 논문은 몽테 카를로 드롭아웃을 활용하여 단어 수준 및 문장 수준에서 모델의 불확실성을 정량화함으로써, 저자원 신경 기계 번역에서 백트랜스레이션에 대한 불확실성 기반 신뢰도 추정을 제안한다. 예측 분산에서 유도된 신뢰도 점수를 사용하여 노이즈가 많은 합성 단일어 번역을 필터링함으로써, 레이블이 없는 데이터나 외부 모델을 요구하지 않고도 중국어-영어 및 영어-독일어 작업에서 번역 성능을 크게 향상시킨다.

ABSTRACT

While back-translation is simple and effective in exploiting abundant monolingual corpora to improve low-resource neural machine translation (NMT), the synthetic bilingual corpora generated by NMT models trained on limited authentic bilingual data are inevitably noisy. In this work, we propose to quantify the confidence of NMT model predictions based on model uncertainty. With word- and sentence-level confidence measures based on uncertainty, it is possible for back-translation to better cope with noise in synthetic bilingual corpora. Experiments on Chinese-English and English-German translation tasks show that uncertainty-based confidence estimation significantly improves the performance of back-translation.

연구 동기 및 목표

• 저자원 신경 기계 번역에서 백트랜스레이션 과정에서 생성되는 노이즈가 많은 합성 이중어 데이터 문제를 해결하기 위해.
• 외부 모델이나 레이블이 없는 데이터에 의존하지 않고 모델의 불확실성을 정량화하는 신뢰도 추정 방법을 개발하기 위해.
• 불확실성 인식 신뢰도 점수를 사용하여 저신뢰도이자 오류가 발생하기 쉬운 합성 번역을 필터링함으로써 백트랜스레이션을 향상시키기 위해.
• 다양한 NMT 아키텍처와 언어 쌍에 대해 일반적으로 적용 가능한 방법이 되도록 하기 위해.

제안 방법

• 단어 수준 및 문장 수준에서 번역 확률의 분산을 추정하기 위해 다중 전방 전파를 수행하기 위해 몽테 카를로 드롭아웃을 사용하기 위해.
• 드롭아웃 샘플에서 유도된 예측 분산(VAR) 및 엔트로피 기반 측정(CEV)을 사용하여 단어 수준의 신뢰도를 계산하기 위해.
• 가중 평균 및 정규화를 사용하여 단어 수준의 신뢰도를 문장 수준의 신뢰도 점수로 집계하기 위해.
• 재학습 전에 저신뢰도 합성 번역을 제거하기 위해 신뢰도 임계값을 적용하기 위해.
• 저신뢰도 합성 문장 쌍을 최종 학습 데이터에서 제외함으로써, 백트랜스레이션 파이프라인에 신뢰도 추정을 통합하기 위해.
• 진짜 이중어 데이터로 목표어에서 원천어 모델을 학습한 후, 이를 사용하여 단일어 데이터에서 합성 원천어 문장을 생성하고, 실제 데이터와 조합하기 전에 신뢰도 필터링을 적용하기 위해.

실험 결과

연구 질문

• RQ1 몽테 카를로 드롭아웃을 통한 모델 불확실성 추정이 백트랜스레이션에서 신뢰할 수 없는 NMT 예측을 효과적으로 식별할 수 있는가?
• RQ2 불확실성 기반 신뢰도 필터링은 저자원 환경에서 합성 이중어 데이터의 품질을 어떻게 향상시키는가?
• RQ3 불확실성 기반 신뢰도 추정은 레이블이 없는 데이터 없이 다양한 NMT 아키텍처와 언어 쌍에 일반적으로 적용 가능한가?
• RQ4 기존의 데이터 선택 전략(예: 어려운 단어 타겟팅)과 불확실성 기반 필터링을 조합하면 추가적인 향상이 이루어지는가?
• RQ5 예측 오류를 식별하는 데 있어 다양한 불확실성 기반 신뢰도 측정(예: 분산, 엔트로피) 간의 성능 비교는 어떻게 되는가?

주요 결과

• 제안된 불확실성 기반 신뢰도 추정 방법은 중국어-영어 및 영어-독일어 번역 작업에서 백트랜스레이션 성능을 크게 향상시켰다.
• IWSLT14 영어-독일어 번역 작업에서, 이 방법은 베이스라인 대비 1.25점 향상된 BLEU 점수 31.17을 달 đạt했다.
• IWSLT14 중국어-영어 번역 작업에서, 이 방법은 베이스라인 대비 1.18점 향상된 BLEU 점수 30.72를 달달했다.
• NIST06 영어-독일어 테스트 세트에서, 데이터 선택 기반으로 46.60에서 시작된 BLEU 점수는 불확실성 필터링과 조합했을 때 47.18로 향상되었다.
• 분산 기반의 신뢰도 측정(VAR, CEV)이 PTP 및 EXP보다 저신뢰도이자 오류가 발생하기 쉬운 예측을 식별하는 데 더 뛰어났다.
• 이 방법은 어려운 단어를 타겟팅하는 등의 고급 데이터 선택 기법과도 효과적으로 조합되며, 존재하는 백트랜스레이션 향상 기법과의 높은 호환성을 보였다.