[논문 리뷰] Lexical Resources for Hindi Marathi MT

S Sreelekha, Pushpak Bhattacharyya|arXiv (Cornell University)|2017. 03. 04.

Natural Language Processing Techniques참고 문헌 12인용 수 4

한 줄 요약

이 논문은 히нд어-마라티어 번역 쌍의 통계적 기계 번역(SMT)을 향상시키기 위해 인도워드넷, 기능어, 크리다타 쌍, 동사구와 같은 다양한 어휘 자원을 훈련 코퍼스에 통합하는 방법을 제안한다. 어휘와 어형을 모두 확장함으로써, 특히 제한된 병렬 데이터 상황에서 번역 품질과 커버리지가 크게 향상되며, 사례 연구와 오류 분석을 통해 양 방향 번역에서 그 효과가 입증되었다.

ABSTRACT

In this paper we describe some ways to utilize various lexical resources to improve the quality of statistical machine translation system. We have augmented the training corpus with various lexical resources such as IndoWordnet semantic relation set, function words, kridanta pairs and verb phrases etc. Our research on the usage of lexical resources mainly focused on two ways such as augmenting parallel corpus with more vocabulary and augmenting with various word forms. We have described case studies, evaluations and detailed error analysis for both Marathi to Hindi and Hindi to Marathi machine translation systems. From the evaluations we observed that, there is an incremental growth in the quality of machine translation as the usage of various lexical resources increases. Moreover usage of various lexical resources helps to improve the coverage and quality of machine translation where limited parallel corpus is available.

연구 동기 및 목표

• 저자원 히нд어-마라티어 언어 쌍에 대한 통계적 기계 번역 품질 향상.
• 훈련 데이터가 제한된 상황에서 어휘 자원을 활용해 코퍼스를 풍부화하여 문제 해결.
• 다양한 어휘 자원이 양 방향(히нд어→마라티어 및 마라티어→히нд어) 번역 성능에 미치는 영향을 조사.
• 어휘 확장과 형태학적 형태 확장이 어휘 자원을 통해 얼마나 효과적으로 이루어지는지 평가.
• 오류 패턴을 식별하고 어휘 자원이 번역 오류에 미치는 영향을 이해하기 위해 세부 오류 분석 수행.

제안 방법

• 인도워드넷의 의미 관계, 기능어, 크리다타 쌍, 동사구를 포함한 어휘 자원을 병렬 훈련 코퍼스에 통합.
• 훈련 데이터의 어휘와 어형을 확장하여 커버리지와 일반화 능력을 향상.
• 풍부화된 훈련 데이터를 활용해 히нд어→마라티어 및 마라티어→히нд어 번역 작업에 대해 통계적 기계 번역 파이프라인 적용.
• 표준 기계 번역 평가 지표를 사용해 사례 연구 및 정량적 평가 수행으로 성능 향상 평가.
• 오류 패턴을 식별하고 어휘 자원의 영향을 분석하기 위해 세부 오류 분석 수행.
• 형태학적 및 의미적 자원의 조합을 통해 저자원 환경에서 어휘의 풍부함 향상.

실험 결과

연구 질문

• RQ1 어휘 자원을 활용해 훈련 코퍼스를 풍부화할 경우 히нд어-마라티어 기계 번역의 품질에 어떤 영향을 미치는가?
• RQ2 의미, 기능, 형태학적 자원과 같은 다양한 유형의 어휘 자원이 성능 향상에 얼마나 기여하는가?
• RQ3 병렬 훈련 데이터가 제한된 상황에서 어휘 확장이 번역 품질 향상에 기여할 수 있는가?
• RQ4 어휘 자원은 히нд어-마라티어 번역 시스템의 오류 패턴에 어떤 영향을 미치는가?
• RQ5 여러 어휘 자원을 조합했을 때 MT 시스템 성능에 미치는 누적 영향은 어떠한가?

주요 결과

• 어휘 자원 통합으로 인해 히нд어→마라티어 및 마라티어→히нд어 양 방향에서 번역 품질이 점진적으로 향상되었다.
• 형태학적 및 의미 어휘 자원이 저자원 환경에서 어휘 커버리지를 크게 향상시켰다.
• 크리다타 쌍과 동사구의 활용이 문장 구조와 의미적 요소의 번역 처리에 유리하게 기여했다.
• 오류 분석 결과, 어휘 확장이 어휘 선택 오류와 어형 변화 오류를 줄이는 데 기여했다.
• 기능어와 인도워드넷의 의미 관계가 번역 출력의 유창성과 통일성 향상에 기여했다.
• 어휘 자원 통합의 각 단계에서 성능 향상이 관찰되어 누적 효과가 있음을 입증했다.