[논문 리뷰] JParaCrawl: A Large Scale Web-Based English-Japanese Parallel Corpus

Makoto Morishita, Jun Suzuki외 1명|arXiv (Cornell University)|2019. 11. 25.

Natural Language Processing Techniques참고 문헌 24인용 수 21

한 줄 요약

이 논문은 웹 크롤링 및 자동 문장 정렬을 통해 구축된 870만 개 이상의 문장 쌍을 포함하는 대규모 웹 기반 영어-일본어 병렬 코퍼스인 JParaCrawl를 소개한다. 이 코퍼스를 통해 신경 기계 번역 모델의 사전 훈련이 효과적으로 이루어지며, 특히 도메인 특화 데이터와 조합할 경우 사전 훈련 없이 훈련하는 모델보다 성능을 뛰어넘거나 유사하게 유지하면서 미세조정 시간을 크게 단축시킬 수 있다.

ABSTRACT

Recent machine translation algorithms mainly rely on parallel corpora. However, since the availability of parallel corpora remains limited, only some resource-rich language pairs can benefit from them. We constructed a parallel corpus for English-Japanese, for which the amount of publicly available parallel corpora is still limited. We constructed the parallel corpus by broadly crawling the web and automatically aligning parallel sentences. Our collected corpus, called JParaCrawl, amassed over 8.7 million sentence pairs. We show how it includes a broader range of domains and how a neural machine translation model trained with it works as a good pre-trained model for fine-tuning specific domains. The pre-training and fine-tuning approaches achieved or surpassed performance comparable to model training from the initial state and reduced the training time. Additionally, we trained the model with an in-domain dataset and JParaCrawl to show how we achieved the best performance with them. JParaCrawl and the pre-trained models are freely available online for research purposes.

연구 동기 및 목표

• 신경 기계 번역 분야의 진전을 저해하는 공개 가능한 영어-일본어 병렬 코퍼스의 부족 문제를 해결하기 위해.
• 웹에서 고카버리지, 다양한 도메인의 병렬 문장을 효율적으로 추출할 수 있는 확장 가능한 방법을 개발하기 위해.
• JParaCrawl를 사용하여 전이 학습을 위한 사전 훈련된 NMT 모델을 구축하여 하류 도메인 특화 작업의 미세조정을 가속화하기 위해.
• JParaCrawl에서 사전 훈련한 모델이 사전 훈련 없이 훈련한 모델보다 번역 품질을 향상시키고 훈련 시간을 단축시킴을 입증하기 위해.
• JParaCrawl와 사전 훈련된 모델을 연구 목적으로 개방하기 위해.

제안 방법

• 공통 크롤러 데이터에서 영어-일본어 병렬 콘텐츠를 가질 잠재적 도메인을 식별하기 위한 웹 크롤링.
• 다국어 문장 임베딩 모델과 교차 어텐션 메커니즘을 사용하여 언어 간 병렬 문장을 문장 수준에서 정렬하기.
• 정렬 모델의 신뢰도 점수, 길이 비율, 언어학적 특징을 조합하여 노이즈가 많은 문장 쌍을 필터링하기.
• 전이 학습을 위한 사전 훈련된 모델을 생성하기 위해 JParaCrawl에서 신경 기계 번역 모델을 훈련하기.
• 특화된 도메인 데이터셋인 ASPEC과 같은 도메인 특화 데이터셋에서 사전 훈련된 모델을 미세조정하여 전문화된 도메인에 적응시키기.
• 표준 벤치마크(예: ASPEC)에서 BLEU 점수를 사용하여 다양한 훈련 전략 간 성능을 비교 평가하기.

실험 결과

연구 질문

• RQ1 웹에서 추출한 대규모 병렬 코퍼스가 영어-일본어와 같은 저자원 언어 쌍의 신경 기계 번역 성능을 향상시킬 수 있는가?
• RQ2 JParaCrawl에서의 사전 훈련이 번역 품질을 유지하거나 향상시키면서 미세조정 시간을 얼마나 줄일 수 있는가?
• RQ3 JParaCrawl를 도메인 특화 코퍼스와 조합하여 훈련하는 것과 사전 훈련 없이 훈련하는 것 간에 BLEU 점수와 훈련 효율성 측면에서 어떤 차이가 있는가?
• RQ4 JParaCrawl가 과학적 텍스트와 같은 특화된 도메인에서 미세조정에 사용될 수 있는 강력한 일반 목적 사전 훈련 모델이 될 수 있는가?
• RQ5 JParaCrawl에서만 훈련된 모델가 도메인 특화 용어를 처리하는 데서, 도메인 데이터에서 미세조정된 모델과 비교해 어떤 성능을 보이는가?

주요 결과

• JParaCrawl는 발표 당시 공개된 영어-일본어 병렬 코퍼스 중 가장 큰 규모로 870만 개 이상의 문장 쌍을 포함한다.
• JParaCrawl에서 사전 훈련한 모델을 도메인 특화 데이터에서 미세조정함으로써 훈련 시간을 단축시키면서도 사전 훈련 없이 훈련한 모델와 비교해 유사하거나 뛰어난 BLEU 점수를 달성했다.
• JParaCrawl에서 사전 훈련한 후 ASPEC에서 미세조정한 모델은 영어-일본어 방향에서 BLEU 점수 43.5를 기록했으며, 데이터 오버샘플링을 사용한 ASPEC 전용 모델의 44.3 점수를 초월했다.
• 일본어-영어 방향에서는 미세조정된 모델이 BLEU 점수 29.3을 기록하여 ASPEC 전용 모델의 28.7 점수를 뛰어넘었다.
• JParaCrawl에서만 훈련된 모델는 도메인 특화 용어인 '라지 에디 시뮬레이션'을 정확히 번역하기 위해 미세조정을 거친 후에야 정확한 번역을 할 수 있었으며, 이는 일반 웹 데이터만으로는 도메인 특화 지식이 포괄되지 않는다는 것을 시사한다.
• JParaCrawl와 도메인 데이터(ASPEC)를 결합하고 사전 훈련/미세조정 전략을 적용한 결과 가장 높은 성능을 기록하여, JParaCrawl를 활용한 전이 학습의 효과성을 입증했다.