[논문 리뷰] Bengali to Assamese Statistical Machine Translation using Moses (Corpus Based)

Nayan Jyoti Kalita, Md Baharul Islam|arXiv (Cornell University)|2015. 01. 01.

Natural Language Processing Techniques참고 문헌 4인용 수 4

한 줄 요약

이 논문은 모세 툴킷을 사용하여 17,100문장의 병렬 코퍼스를 기반으로 벵골어에서 아삼어로의 어휘 기반 통계적 기계 번역(SMT) 시스템을 제안한다. BLEU 점수 16.3을 기록했음에도 불구하고, 훈련 데이터가 적고 어휘의 다의어성 문제로 인해 한계를 보이며, 더 큰 코퍼스와 문법적 특징의 통합을 통한 향상 가능성을 시사한다.

ABSTRACT

Machine dialect interpretation assumes a real part in encouraging man-machine correspondence and in addition men-men correspondence in Natural Language Processing (NLP). Machine Translation (MT) alludes to utilizing machine to change one dialect to an alternate. Statistical Machine Translation is a type of MT consisting of Language Model (LM), Translation Model (TM) and decoder. In this paper, Bengali to Assamese Statistical Machine Translation Model has been created by utilizing Moses. Other translation tools like IRSTLM for Language Model and GIZA-PP-V1.0.7 for Translation model are utilized within this framework which is accessible in Linux situations. The purpose of the LM is to encourage fluent output and the purpose of TM is to encourage similarity between input and output, the decoder increases the probability of translated text in target language. A parallel corpus of 17100 sentences in Bengali and Assamese has been utilized for preparing within this framework. Measurable MT procedures have not so far been generally investigated for Indian dialects. It might be intriguing to discover to what degree these models can help the immense continuous MT deliberations in the nation.

연구 동기 및 목표

• 범골어-아삼어 번역을 위한 통계적 기계 번역 시스템을 개발하기 위해, 문법적으로 유사한 저자원 언어 쌍에 적합한 시스템 개발.
• 오픈소스 도구인 모세, 지자, 이르스트림을 활용한 어휘 기반 SMT의 효과를 저자원 인도어 환경에서 평가하기.
• 코퍼스 크기, 단어 정렬의 다의어성, 문법 태깅 부족으로 인한 번역 품질 저하 요인 규명.
• 향후 다국어 코퍼스 확장과 번역 모델에 품사 태깅(POS) 통합을 통한 향상 가능성 탐색.

제안 방법

• 17,100개의 벵골어-아삼어 문장 쌍으로 구성된 병렬 코퍼스를 기반으로 모세 툴킷을 사용해 어휘 기반 통계적 기계 번역 시스템을 훈련.
• 소스어 및 목표어 언어 간의 어휘 정렬 및 어구 테이블 생성을 위해 GIZA++-PP-V1.0.7를 활용.
• 목표어(아삼어) 언어의 유창성을 향상시키기 위해 IRSTLM을 사용해 언어 모델을 구축.
• 전처리 단계의 일관성을 확보하기 위해 훈련, 튜닝, 테스트 데이터를 토큰화 및 트루캐싱 처리.
• 별도의 개발 세트를 활용해 시스템 파라미터를 튜닝하여 최적화.
• 200~300문장의 개별 테스트 세트를 활용해 BLEU 점수로 번역 품질을 평가.

실험 결과

연구 질문

• RQ1 문법적으로 유사한 인도어 언어인 벵골어와 아삼어 간 번역에 어휘 기반 SMT 접근 방식이 얼마나 효과적인가?
• RQ2 저자원 언어 쌍에서 코퍼스 크기가 BLEU 점수 및 번역 품질에 어떤 영향을 미치는가?
• RQ3 번역 어휘 사전 내 어휘의 다의어성은 번역 성능을 어느 정도 악화시키는가?
• RQ4 판별적 SMT 프레임워크에서 품사 태깅(POS)의 통합이 번역 정확도 향상에 기여하는가?

주요 결과

• 시스템은 테스트 세트에서 BLEU 점수 16.3을 기록했으며, 이는 훈련 데이터가 부족하기 때문에 번역 품질이 제한적일 가능성이 있음을 시사한다.
• 200문장 세트에서의 오류율 17.5%가 300문장 세트에서 13.7%로 감소하여, 더 큰 테스트 세트에서의 성능 향상이 일부 관찰됨.
• 주요 오류 원인은 어휘 커버리지 부족, 다의어 번역(예: 벵골어 'শহর'가 아삼어에서 'নগৰ'과 'চহৰ'로 모두 번역됨), 그리고 제한된 품사 태깅.
• 저자원 인도어 번역에 대해 시스템의 실현 가능성을 입증했지만, 더 큰 도메인 다양성을 가진 코퍼스가 필요함을 시사.
• 특히 저자원 환경에서, BLEU 점수는 서로 다른 코퍼스 간 비교에 신뢰할 수 없다고 판단됨.
• 향후 코퍼스 확장과 품사 태깅과 같은 얕은 문법적 특징의 통합을 통해 성능 향상 기대 가능.