[논문 리뷰] Testing Untestable Neural Machine Translation: An Industrial Case

Wujie Zheng, Wenyu Wang외 7명|arXiv (Cornell University)|2018. 07. 06.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 4

한 줄 요약

이 논문은 참조 번역이 필요 없이 번역 실패를 탐지할 수 있는 새로운 테스트 오라클을 제안한다. 자연어의 체계적 특성—예를 들어 단어/구 일관성과 구조적 통일성—을 입력과 출력 간 분석함으로써, 번역 오류를 나타내는 위반 사항을 식별한다. 이 방법은 WeChat에서 10억 명이 넘는 사용자가 참여한 실세계 환경에서 높은 효과를 발휘하였다.

ABSTRACT

Neural Machine Translation (NMT) has been widely adopted recently due to its advantages compared with the traditional Statistical Machine Translation (SMT). However, an NMT system still often produces translation failures due to the complexity of natural language and sophistication in designing neural networks. While in-house black-box system testing based on reference translations (i.e., examples of valid translations) has been a common practice for NMT quality assurance, an increasingly critical industrial practice, named in-vivo testing, exposes unseen types or instances of translation failures when real users are using a deployed industrial NMT system. To fill the gap of lacking test oracle for in-vivo testing of an NMT system, in this paper, we propose a new approach for automatically identifying translation failures, without requiring reference translations for a translation task; our approach can directly serve as a test oracle for in-vivo testing. Our approach focuses on properties of natural language translation that can be checked systematically and uses information from both the test inputs (i.e., the texts to be translated) and the test outputs (i.e., the translations under inspection) of the NMT system. Our evaluation conducted on real-world datasets shows that our approach can effectively detect targeted property violations as translation failures. Our experiences on deploying our approach in both production and development environments of WeChat (a messenger app with over one billion monthly active users) demonstrate high effectiveness of our approach along with high industry impact.

연구 동기 및 목표

• 산업용 NMT 시스템의 실시간 테스트를 위한 테스트 오라클 부족 문제를 해결하기 위해.
• BLEU와 같은 품질 점수나 參조 번역에 의존하지 않고도 배포된 NMT 시스템에서 번역 실패를 탐지하기 위해.
• 모델 설계, 구현 또는 훈련 데이터의 결함을 시사하는 자연어 번역 특성의 체계적 위반을 식별하기 위해.
• 생산 환경에서 실시간 장애 탐지 및 진단을 가능하게 하여 번역 품질과 시스템 신뢰성을 향상시키기 위해.
• 내부 모델 개선과 경쟁 NMT 제공업체 간의 시스템 간 진단을 지원하기 위해.

제안 방법

• 실제 사용자 번역 요청을 기반으로 항목 기반 협업 필터링을 사용하여 단어/구 번역 사전을 구축함으로써, 원천 및 대상 텍스트 간의 공존 패턴을 활용한다.
• 일관성 없는 단어/구 매핑이나 번역에서의 구조적 이질성과 같은 체계적 언어적 특성 위반을 탐지함으로써 번역 실패를 식별한다.
• 입력 텍스트(원천 문장)와 출력 번역 모두에 통계 분석을 적용하여 언어 패턴을 비교함으로써 이질성을 탐지한다.
• 훈련 데이터에서 유도된 130,000개의 영어 및 180,000개의 중국어 의미 있는 단어/구로 구성된 사전을 사용하여 번역 일관성을 검증한다.
• 언어 규칙성과 맥락 통일성에 기반한 히우리스틱을 적용하여, 참조 출력이 없더라도 예상 패턴에서 벗어난 번역을 경고한다.
• 실시간 사용자 요청을 모니터링하고 대규모로 문제를 탐지하기 위해 생산 및 개발 환경 모두에 배포한다.

실험 결과

연구 질문

• RQ1 참조 번역에 접근할 수 없는 산업용 NMT 시스템에서 번역 실패를 탐지할 수 있는가?
• RQ2 참조 출력이 없을 경우 번역 결함의 신뢰할 수 있는 지표가 될 수 있는 체계적 언어적 특성은 무엇인가?
• RQ3 제안된 방법은 대규모 생산용 NMT 시스템에서 실제 번역 실패를 얼마나 효과적으로 식별하는가?
• RQ4 이 방법은 NMT 시스템의 설계 결함나 데이터 품질 문제와 같은 모델 수준의 문제를 탐지할 수 있는가?
• RQ5 이 방법은 다양한 NMT 제공업체 및 번역 시스템 간에 얼마나 일반화될 수 있는가?

주요 결과

• 이 방법은 여러 산업용 NMT 제공업체의 번역에서 목표로 한 특성 위반을 성공적으로 탐지하였으며, 문자 단위 번역 및 연결 기호나 약어 처리 오류와 같은 문제들을 포함한다.
• 일상적인 식품 용어의 과잉 번역(예: 'cake'에 대해 'Runeberg torte') 및 잘못된 약어 처리(예: 'plasmodium'에 대해 'p.')와 같은 특정 결함을 식별하였다.
• 실제 사용자 데이터에서 130,000개의 영어 및 180,000개의 중국어 의미 있는 단어/구를 수집하여 내부 테스트 케이스로 활용함으로써 모델 개선에 기여하였다.
• WeChat에 배포한 결과, WeChat 자체 NMT 시스템뿐 아니라 다른 제공업체의 시스템에서도 문제를 탐지하는 데 높은 효과를 발휘하였다.
• 모델 설계 결함(예: 다자음어어에서 맥락 忽시) 및 구현 문제(예: 연결 기호어 처리 실패)를 드러내어, 단순 품질 평가를 넘는 진단적 가치를 입증하였다.
• 희귀 또는 특정 어형 변형에 과도하게 피팅되는 등 훈련 데이터 품질 문제에서 기인하는 문제 진단에도 효과적임을 입증하였다.