[논문 리뷰] Automatic Testing and Improvement of Machine Translation

Zeyu Sun, Jie M. Zhang외 3명|arXiv (Cornell University)|2019. 10. 07.

Software Testing and Debugging Techniques참고 문헌 40인용 수 4

한 줄 요약

이 논문은 문맥 유사 변형과 변형 테스팅을 사용하여 기계 번역 시스템의 번역 일관성 문제를 자동으로 탐지하고 수정하는 완전 자동 프레임워크인 TransRepair를 제안한다. 이는 일관성 있는 테스트 쌍을 생성할 때 99%의 정밀도를 달성하고, Google 번역 및 Transformer에서 일관성 문제가 발생하는 버그의 19–30%를 수정하며, 수작업 평가 결과 수리된 번역의 87%가 일관성을 향상시키고 27%는 번역 수용성까지 향상시킨다.

ABSTRACT

This paper presents TransRepair, a fully automatic approach for testing and repairing the consistency of machine translation systems. TransRepair combines mutation with metamorphic testing to detect inconsistency bugs (without access to human oracles). It then adopts probability-reference or cross-reference to post-process the translations, in a grey-box or black-box manner, to repair the inconsistencies. Our evaluation on two state-of-the-art translators, Google Translate and Transformer, indicates that TransRepair has a high precision (99%) on generating input pairs with consistent translations. With these tests, using automatic consistency metrics and manual assessment, we find that Google Translate and Transformer have approximately 36% and 40% inconsistency bugs. Black-box repair fixes 28% and 19% bugs on average for Google Translate and Transformer. Grey-box repair fixes 30% bugs on average for Transformer. Manual inspection indicates that the translations repaired by our approach improve consistency in 87% of cases (degrading it in 2%), and that our repairs have better translation acceptability in 27% of the cases (worse in 8%).

연구 동기 및 목표

• 문맥에 민감한 잘못된 번역, 예를 들어 성별 기반의 불공평성 등으로 인해 발생하는 기계 번역 시스템의 공정성 및 일관성 문제를 해결하기 위해.
• 소스 코드나 인간 오라클 없이도 기계 번역 시스템에 대해 완전히 자동화된 블랙박스 테스팅 및 수리 기법을 개발하기 위해.
• 문맥 유사 변형으로 인한 번역의 방해를 탐지하고 기준 번역 기반 수리 기법을 통해 후처리하여 번역 일관성을 향상시키기 위해.
• 최신 기계 번역기인 Google 번역 및 Transformer와 같은 시스템에서 일관성 문제를 수정하기 위한 블랙박스 및 회색상자 수리 전략의 효과성을 평가하기 위해.
• 모델 재학습 없이도 자동 수리가 번역의 일관성과 수용성 향상에 기여할 수 있음을 입증하기 위해.

제안 방법

• 문장의 구조를 유지하면서 의미적·문맥적으로 유사한 대체어(예: 성별에 따라 다른 대명사 또는 동의어)로 단어를 교체함으로써 문맥 유사 변형을 적용하여 테스트 입력을 생성한다.
• 원본 문장과 변형된 문장의 번역을 비교하여 일관성 문제를 탐지하기 위해 변형 테스팅을 사용하며, 번역의 변화하지 않은 부분이 유의미하게 다를 경우 이를 경고한다.
• 유사도 메트릭(예: 임베딩 기반)을 사용하여 번역 부분 시퀀스의 방해 정도를 정량화하고, 임계값을 초과하는 경우 잠재적 일관성 버그로 식별한다.
• 원본 모델을 수정하지 않고, 변형된 입력에서의 기준 번역을 활용하여 후처리하는 방식으로 블랙박스 수리를 구현한다.
• 내부 모델 동작(예: 어텐션 또는 히든 상태)을 활용하여 후처리를 안내하는 방식으로 회색상자 수리를 적용한다(가용할 경우).
• 일관성 기반으로 다수의 테스트 케이스에서 번역을 선택하거나 개선하기 위해 확률-기준 또는 교차 기준 기법을 사용한다.

실험 결과

연구 질문

• RQ1 인간 오라클 없이도 문맥 유사 변형과 변형 테스팅을 조합하여 기계 번역 시스템의 일관성 문제 버그를 효과적으로 탐지할 수 있는가?
• RQ2 Google 번역 및 Transformer와 같은 최신 기계 번역 시스템이 얼마나 높은 수준의 문맥 민감성 번역 일관성 문제를 보이는가?
• RQ3 블랙박스 및 회색상자 후처리 기법이 탐지된 일관성 문제 버그를 자동으로 수리할 수 있으며, 번역 품질을 유지하거나 향상시킬 수 있는가?
• RQ4 원본 번역 대비 수리된 번역이 일관성과 수용성 향상 측면에서 얼마나 효과적인가?
• RQ5 자동 후처리에서 수리 정밀도와 번역 품질 사이의 상충 관계는 어떠한가?

주요 결과

• TransRepair는 일관성 있는 번역을 유도하는 테스트 쌍 생성에 대해 99%의 정밀도를 달성하여 테스트 케이스 생성의 높은 신뢰성을 보여준다.
• 평가 결과, Google 번역과 Transformer는 각각 약 36%와 40%의 일관성 문제 버그를 문맥 유사 변형 하에서 보였으며,
• 블랙박스 수리는 Google 번역에서 평균 28%의 일관성 문제를 수정했고, Transformer에서는 19%를 수정하여 실제 환경 적용에서의 효과성을 입증했다.
• 회색상자 수리는 Transformer에서 평균 30%의 수리율을 달성하여 내부 모델 동작 정보 접근이 수리 효과를 향상시킨다는 것을 보여주었다.
• 수작업 검토 결과, 수리된 번역의 87%가 일관성을 향상시켰으며, 오직 2%만이 악화되었으며, 이는 수리 과정의 높은 신뢰성을 시사한다.
• 수용성 측면에서, 수리된 번역의 27%가 원본 번역보다 더 나은 점수를 받았고, 오직 8%만이 더 낮은 점수를 받았으며, 자연스럽고 유창한 번역 향상이 나타났다.