[논문 리뷰] Filtering and Mining Parallel Data in a Joint Multilingual Space

Holger Schwenk|arXiv (Cornell University)|2018. 05. 24.

Topic Modeling참고 문헌 19인용 수 7

한 줄 요약

이 논문은 공유된 임bedding 공간에서 코사인 거리 측정을 사용하여 노이즈가 있는 병렬 데이터를 걸러내고, 단일 언어 뉴스 컬렉션에서 병렬 문장을 추출하는 통합 다국어 문장 임베딩 모델을 제안한다. WMT'14 영어-독일어 작업에 이 방법을 적용한 결과, 훈련 데이터의 25%를 걸러낸 후 BLEU 점수가 0.3 포인트 향상되었으며, 모델 특화 튜닝 없이도 여러 언어 쌍에서 효과를 입증하였다.

ABSTRACT

We learn a joint multilingual sentence embedding and use the distance between sentences in different languages to filter noisy parallel data and to mine for parallel data in large news collections. We are able to improve a competitive baseline on the WMT'14 English to German task by 0.3 BLEU by filtering out 25% of the training data. The same approach is used to mine additional bitexts for the WMT'14 system and to obtain competitive results on the BUCC shared task to identify parallel sentences in comparable corpora. The approach is generic, it can be applied to many language pairs and it is independent of the architecture of the machine translation system.

연구 동기 및 목표

• 노이즈가 있는 병렬 데이터를 걸러내고, 유사 문장 코퍼스에서 비트렉스를 추출하기 위한 일반적이고 아키텍처에 종속되지 않는 방법을 개발하기 위해.
• 신경 기계 번역(NMT) 시스템이 노이즈가 있는 훈련 데이터에 더 민감한 점을 다루기 위해, 기존의 SMT보다 더 심각한 문제를 해결하기 위해.
• 최대 9개 언어까지 공통된 임베딩 공간을 사용하여 다국어 병행 데이터의 스케일러블한 정제를 가능하게 하기 위해.
• 언어별 특화 기능이나 분류기 없이도 저자원 및 노이즈가 있는 비트렉스에서 NMT 성능을 향상시키기 위해.

제안 방법

• BPE 토크나이저와 20k의 공동 어휘를 사용하여, 9개 언어(en, fr, es, it, pt, de, da, nl, fi)의 유로파라프 병행 코퍼스를 기반으로 공통 다국어 BLSTM 인코더를 훈련한다.
• 최종 BLSTM 히든 상태에 대해 max-pooling을 적용하여 고정 크기의 1024차원 문장 임베딩를 생성하고, 훈련 후 디코더는 버린다.
• 공통 공간 내에서 문장 임베딩 간의 코사인 거리를 사용하여 병렬 문장 쌍을 식별한다: 낮은 거리는 번역 가능성의 높음을 나타낸다.
• 이종 언어 간 거리에 임계값을 적용하여 노이즈가 있는 비트렉스를 걸러내고(예: 거리 > 0.25인 쌍은 기각), 유사 문장 코퍼스에서 새로운 비트렉스를 추출한다.
• 대규모 단일 언어 뉴스 컬렉션(예: 144M개의 영어 문장 및 187M개의 독일어 문장)에서 쌍방향 거리 계산을 효율적으로 수행하기 위해 FAISS 벡터 검색 라이브러리를 활용한다.
• 같은 임베딩 공간을 사용하여 BUCC 및 WMT 데이터셋의 골드 스탠다드 애벌리징과 비교함으로써 추출 품질을 평가한다.

실험 결과

연구 질문

• RQ1 언어별 특화 기능이나 분류기 없이도 통합 다국어 문장 임베딩 공간이 노이즈가 있는 병렬 문장 쌍을 효과적으로 식별하고 걸러낼 수 있는가?
• RQ2 기존 방법과 비교해 볼 때, 이 방법은 대규모 단일 언어 뉴스 코퍼스에서 고품질 비트렉스를 얼마나 효과적으로 추출하는가?
• RQ3 노이즈가 있는 비트렉스를 걸러내는 것이 하류 NMT 성능에 얼마나 기여하는가, 특히 WMT’14와 같은 경쟁적 벤치마크에서?
• RQ4 추출된 문장의 길이 분포는 NMT 훈련에 어떤 영향을 미치며, 성능 향상에 제한을 줄 수 있는가?
• RQ5 동일한 임베딩 공간을 여러 언어 쌍과 데이터 소스(예: Common Crawl 및 WMT 뉴스 컬렉션)에 적용할 수 있는가?

주요 결과

• WMT’14 영어-독일어 훈련 데이터의 25%를 코사인 거리 임계값 0.25를 사용해 걸러낸 결과 BLEU 점수가 24.76에서 25.06으로 0.3 포인트 향상되었다.
• 필터링된 Common Crawl 데이터(340만 개 문장 쌍)를 원본 Europarl 및 News Commentary 데이터와 결합한 결과 BLEU 점수는 25.07을 기록했다.
• WMT 뉴스 컬렉션에서 추출한 비트렉스를 Europarl 및 News Commentary 데이터에 추가한 결과 NMT 성능이 0.45 BLEU 향상되었으며(21.87 → 22.32), 그러나 필터링된 Common Crawl 데이터를 사용한 최고 성능 시스템에 추가로 적용했을 때는 추가 향상 없이 정체되었다.
• BUCC 공동 과제에서 이전 방법보다 뛰어난 성능을 보였으며, 별도의 임베딩 공간과 이진 분류기를 사용한 모델들보다 우수한 성능을 기록했다.
• 길이 분포 불일치가 관찰되었다: 추출된 문장의 평균 길이는 8단어였고, WMT’14 훈련 데이터의 평균 길이는 24단어였으며, 이는 장문 문장 번역에 도전 과제가 있음을 시사한다.
• 이 방법은 일반적이고 확장 가능하며, 최대 9개 언어에 적용 가능하며 NMT 모델 아키텍처에 종속되지 않으며, 신뢰도 추정 및 백트랜슬레이션 필터링 등 응용 가능성이 있다.