[논문 리뷰] PJAIT Systems for the IWSLT 2015 Evaluation Campaign Enhanced by Comparable Corpora

Krzysztof Wołk, Krzysztof Marasek|arXiv (Cornell University)|2015. 12. 05.

Natural Language Processing Techniques참고 문헌 7인용 수 5

한 줄 요약

이 논문은 체코어-영어, 베트남어-영어, 프랑스어-영어, 독일어-영어 등의 다양한 언어 조합을 위한 통계적 기계 번역(SMT) 시스템을 향상시키기 위해 TED 병렬 데이터와 함께 위키백과 기반의 유사 문헌 집합을 통합한다. 이 접근법은 도메인 적응, 대칭화된 단어 정렬, 무 supervision 번역기, 그리고 KenLM을 활용하여 모든 언어 조합에서 BLEU, NIST, TER 점수 향상을 이룬다.

ABSTRACT

In this paper, we attempt to improve Statistical Machine Translation (SMT) systems on a very diverse set of language pairs (in both directions): Czech - English, Vietnamese - English, French - English and German - English. To accomplish this, we performed translation model training, created adaptations of training settings for each language pair, and obtained comparable corpora for our SMT systems. Innovative tools and data adaptation techniques were employed. The TED parallel text corpora for the IWSLT 2015 evaluation campaign were used to train language models, and to develop, tune, and test the system. In addition, we prepared Wikipedia-based comparable corpora for use with our SMT system. This data was specified as permissible for the IWSLT 2015 evaluation. We explored the use of domain adaptation techniques, symmetrized word alignment models, the unsupervised transliteration models and the KenLM language modeling tool. To evaluate the effects of different preparations on translation results, we conducted experiments and used the BLEU, NIST and TER metrics. Our results indicate that our approach produced a positive impact on SMT quality.

연구 동기 및 목표

• 저자원 및 다양한 언어 조합, 즉 체코어-영어, 베트남어-영어, 프랑스어-영어, 독일어-영어에서 SMT 성능 향상.
• 특히 위키백과 기반 수집자료를 포함한 유사 문헌이 SMT 시스템 품질에 미치는 영향 탐색.
• 각 언어 조합의 고유한 특성에 맞게 대칭화된 단어 정렬 및 무 supervision 번역기와 같은 학습 설정 및 기법을 적응.
• IWSLT 2015 평가 프레임워크 하에 표준 지표인 BLEU, NIST, TER를 사용하여 시스템 향상 평가.

제안 방법

• 개발, 튜닝, 테스트를 위해 TED 병렬 문헌 집합을 사용하여 번역 모델 학습.
• 각 언어 조합에 대해 위키백과 기반의 유사 문헌 집합을 제작하고 통합하여 학습 데이터 강화.
• 유사 데이터의 분포를 목표 번역 도메인과 일치시키기 위해 도메인 적응 기법 적용.
• 구어표현 테이블 품질 향상과 정렬의 강건성 향상을 위해 대칭화된 단어 정렬 모델 활용.
• 형태소가 풍부하거나 저자원 언어에서 특히 중요한 OOV(어휘 외 단어)를 처리하기 위해 무 supervision 번역기 모델 통합.
• 효율적이고 효과적인 언어 모델 학습 및 디코딩을 위해 KenLM 도구 활용.

실험 결과

연구 질문

• RQ1 IWSLT 2015 평가에서 위키백과 기반의 유사 문헌 집합이 다양한 언어 조합의 SMT 성능에 어느 정도 향상시키는가?
• RQ2 도메인 적응 및 대칭화된 단어 정렬 기법이 다양한 언어 조합에서 번역 품질에 어떤 영향을 미치는가?
• RQ3 무 supervision 번역기가 저자원 언어 조합에서 OOV 단어를 처리하는 데 미치는 영향은 무엇인가?
• RQ4 명시적 병렬 주석 없이도 유사 문헌 집합이 제한된 병렬 데이터를 SMT 시스템에 효과적으로 보완할 수 있는가?
• RQ5 통합된 기법들이 BLEU, NIST, TER와 같은 표준 지표에 어떤 영향을 미치는가?

주요 결과

• 위키백과 기반의 유사 문헌 집합 통합으로 모든 테스트 언어 조합에서 번역 품질 향상이 일관되게 관찰되었다.
• 도메인 적응 기법은 유사 데이터의 분포를 목표 도메인과 일치시켜 시스템 성능을 크게 향상시켰다.
• 대칭화된 단어 정렬 모델은 특히 저자원 환경에서 더 강건한 구어표현 테이블 학습에 기여하였다.
• 무 supervision 번역기는 베트남어-영어 및 체코어-영어 조합에서 OOV 단어 처리에 유의미한 개선을 이끌었다.
• 언어 모델링에 KenLM을 사용함으로써 생성된 번역의 유창성과 적절성이 향상되었다.
• 종합적으로 시스템은 BLEU, NIST, TER 점수에서 측정 가능한 향상을 달성하여 제안된 개선 조치의 효과성을 확인하였다.