[논문 리뷰] Corpus Augmentation by Sentence Segmentation for Low-Resource Neural Machine Translation

Jinyi Zhang, Tadahiro Matsumoto|arXiv (Cornell University)|2019. 05. 22.

Natural Language Processing Techniques참고 문헌 16인용 수 5

한 줄 요약

이 논문은 자료가 부족한 신경 기계 번역(NMT)을 위한 새로운 코퍼스 증강 방법을 제안한다. 이 방법은 긴 병렬 문장을 부분 문장으로 분할하고, 목적어 쪽 부분 문장을 역번역하여 가짜 병렬 문장 쌍을 생성한 후, 기존 데이터와 조합한다. 이 방법은 단순화된 데이터나 아키텍처 변경 없이 기준 모델 및 기존의 역번역 기준 모델 대비 BLEU 점수를 1.5~2.5점 향상시킨다.

ABSTRACT

Neural Machine Translation (NMT) has been proven to achieve impressive results. The NMT system translation results depend strongly on the size and quality of parallel corpora. Nevertheless, for many language pairs, no rich-resource parallel corpora exist. As described in this paper, we propose a corpus augmentation method by segmenting long sentences in a corpus using back-translation and generating pseudo-parallel sentence pairs. The experiment results of the Japanese-Chinese and Chinese-Japanese translation with Japanese-Chinese scientific paper excerpt corpus (ASPEC-JC) show that the method improves translation performance.

연구 동기 및 목표

• 병렬 코퍼스의 크기와 품질이 제한된 자료가 부족한 언어 쌍에서 신경 기계 번역 성능을 향상시키기 위해.
• 단순화된 데이터나 NMT 아키텍처 변경 없이도 훈련 데이터를 향상시킬 수 있는 코퍼스 증강 기법을 개발하기 위해.
• 긴 문장을 분할하고 부분 문장을 역번역하는 것이 훈련에 효과적인 가짜 병렬 문장 쌍을 생성할 수 있는지 조사하기 위해.
• 일본어-중국어 과학 논문 코퍼스(ASPEC-JC)를 이용해 저자원 환경에서의 방법의 효과성을 평가하기 위해.

제안 방법

• 긴 병렬 문장(여러 개의 구두점 포함)을 구두점 기반으로 분할하여 부분 문장 쌍으로 나눈다.
• fast_align를 사용해 소스 및 타겟 부분 문장 간의 단어 정렬 정보를 추출하고, 대칭화하여 부분 문장 간의 대응 관계를 결정한다.
• 기존의 NMT 모델을 사용해 타겟 쪽 부분 문장을 소스 언어로 역번역하여 가짜 소스 문장을 생성한다.
• 생성된 가짜 병렬 문장 쌍을 기존 훈련 데이터에 혼합하여 효과적인 훈련 크기를 증가시킨다.
• 문자 수준의 LSTM 기반 NMT 모델을 사용해 일본어-중국어 및 중국어-일본어 번역 방향 모두에 이 방법을 적용한다.
• 기준 모델, 복사된 데이터, 부분 문장 전용, 표준 역번역 기준 모델 대비 BLEU 점수를 비교하여 평가한다.

실험 결과

연구 질문

• RQ1 긴 문장을 분할하고 부분 문장을 역번역하는 방식이 자료가 부족한 환경에서 NMT 성능 향상에 기여하는가?
• RQ2 단순화된 데이터가 없을 경우 제안된 방법이 표준 역번역보다 우수한가?
• RQ3 성능 향상은 가짜 병렬 문장 생성 때문인가, 아니면 단순히 데이터 중복 때문인가?
• RQ4 이 방법을 다른 증강 기법과 조합하여 번역 품질을 추가로 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 일본어-중국어 및 중국어-일본어 번역 방향 모두에서 기준 모델, 복사된 데이터, 부분 문장 전용, 표준 역번역 기준 모델 대비 높은 BLEU 점수를 달성했다.
• ASPEC-JC 코퍼스에서 기준 모델 대비 BLEU 점수를 1.5~2.5점 향상시켜 양 방향 번역에서 일관된 성능 향상을 입증했다.
• 단순화된 데이터와 함께 사용되었을 때도 제안된 방법이 표준 역번역을 능가했으며, 이는 보완적인 증강 전략으로서의 효과를 시사한다.
• 성능 향상은 데이터 중복 때문이 아니라 의미 있는 가짜 병렬 문장 쌍 생성 덕분이었으며, 이는 '역번역' 변형이 '복사' 변형보다 우수한 결과를 낸 것으로 입증되었다.
• 단순화된 데이터나 아키텍처 수정 없이도 효과적이므로, 다양한 NMT 시스템에 널리 적용 가능하다.