[논문 리뷰] Active Learning for Massively Parallel Translation of Constrained Text into Low Resource Languages

Zhong Zhou, Alex Waibel|arXiv (Cornell University)|2021. 08. 16.

Natural Language Processing Techniques참고 문헌 48인용 수 7

한 줄 요약

이 논문은 막대한 병렬 처리 환경에서 저자원 언어로의 활성 학습을 위한 무작위 샘플링 접근법을 제안하며, 전통적인 부분 기반 인간 번역 전략을 능가한다. 성경에서 약 1,000줄을 임의로 샘플링하여 훈련하고, 인간 수정 번역과 어휘 확장을 반복적으로 적용함으로써, 영어 번역에 대해 기준선 대비 +8.5 BLEU, 동부 포코모치어 번역에 대해 +1.9 BLEU의 성능 향상을 달성하였으며, 어휘 업데이트가 핵심 요소로 작용하고, 전체 초하나 번역 초안에 대한 자기지도 학습은 성능 저하를 초래하므로 피해야 한다.

ABSTRACT

We translate a closed text that is known in advance and available in many languages into a new and severely low resource language. Most human translation efforts adopt a portion-based approach to translate consecutive pages/chapters in order, which may not suit machine translation. We compare the portion-based approach that optimizes coherence of the text locally with the random sampling approach that increases coverage of the text globally. Our results show that the random sampling approach performs better. When training on a seed corpus of ~1,000 lines from the Bible and testing on the rest of the Bible (~30,000 lines), random sampling gives a performance gain of +11.0 BLEU using English as a simulated low resource language, and +4.9 BLEU using Eastern Pokomchi, a Mayan language. Furthermore, we compare three ways of updating machine translation models with increasing amount of human post-edited data through iterations. We find that adding newly post-edited data to training after vocabulary update without self-supervision performs the best. We propose an algorithm for human and machine to work together seamlessly to translate a closed text into a severely low resource language.

연구 동기 및 목표

• 최소한의 인간 노력으로 제한된 텍스트를 심각한 저자원 언어로 번역하는 데 도전하는 것.
• 저자원 기계 번역에서 시 semicolon 기반 인간 번역 전략과 무작위 샘플링 간의 초기 코퍼스 선택 전략의 효과성을 비교하는 것.
• 저자원 환경에서 인간 수정 번역 데이터와 어휘 적응을 활용한 반복적 모델 업데이트 전략의 평가.
• 번역 품질을 가속화하면서도 일관성과 커버리지 유지를 유지하는 공동 인간-기계 워크플로우 개발.

제안 방법

• 무작위 샘플링 전략은 닫혀 있는 텍스트(예: 성경)에서 약 1,000줄을 선택하여 초기 코퍼스로 사용하며, 국지적 일관성보다는 전반적 커버리지에 우선순위를 둔다.
• 제안된 알고리즘은 다중 소스, 다중 타겟 모델을 사용한 기계 번역과 반복 라운드에서 선택된 텍스트 조각의 인간 수정 번역을 번갈아 수행한다.
• 모델 업데이트는 새로 수정된 데이터와 함께 어휘 확장을 포함하며, 전체 번역 초안에 대한 사전 훈련을 피하여 성능 저하를 방지한다.
• 번역 품질 평가는 보류된 테스트 세트에서 BLEU 점수를 사용하여 평가하며, 반복 과정과 언어적 장르에 따라 성능을 추적한다.
• 중앙성 측정법은 다수의 소스 언어 번역을 통합하여 인간 검토 이전에 초안 품질을 향상시킨다.
• 다음 수정 대상 조각은 어휘 다양성 증가와 모델 불확실성 증가에 기반해 동적으로 선택된다.

실험 결과

연구 질문

• RQ1 무작위 샘플링을 이용한 초기 코퍼스 선택 전략이 저자원 기계 번역에서 전통적인 부분 기반 접근 전략을 능가하는가?
• RQ2 인간 수정 번역과 어휘 적응을 통한 반복적 모델 업데이트 전략이 저자원 환경에서 번역 품질에 어떤 영향을 미치는가?
• RQ3 전체 번역 초안에 대한 자기지도 학습이 어휘 확장을 통한 점진적 업데이트와 비교해 어떤 영향을 미치는가?
• RQ4 닫혀 있는 텍스트 내 다양한 문학 장르가 번역 성능과 학습 효율성에 어떤 영향을 미치는가?
• RQ5 공동 인간-기계 워크플로우가 최소한의 인간 입력으로 심각한 저자원 언어에서 고품질 번역을 달성할 수 있는가?

주요 결과

• 무작위 샘플링 전략은 성경을 영어로 번역할 때 기준선 대비 +8.5 BLEU의 성능 향상을 보이며, 기존의 부분 기반 접근 전략을 능가한다.
• 마야어인 동부 포코모치어에 대해서는 무작위 샘플링 방법이 기준선 대비 +1.9 BLEU의 성능 향상을 달성하여 진정한 저자원 환경에서의 효과성을 입증한다.
• 새로 수정된 데이터를 통한 어휘 업데이트가 성능 향상에 크게 기여하며, 업데이트된 어휘(Updated-Vocab)는 오래된 어휘(Old-Vocab)와 기준선 모두를 능가한다.
• 전체 번역 초안에 대한 자기지도 학습은 성능 저하를 초래하므로 피해야 하며, 이는 이론적으로는 유용할 수 있지만 실질적 효과는 없다.
• 성능 향상은 책들 간에 균일하지 않으며, '잠언'과 '송가'와 같은 철학적·시적 텍스트는 약 20%의 학습 데이터가 추가된 후 빠르게 향상된다.
• 일부 책, 예를 들어 '디모테오'는 33권의 학습 데이터가 추가된 후에도 번역이 여전히 어려운 편이어서 장르와 스타일에 따라 학습 효과가 크게 달라지는 경향이 있음을 시사한다.