[논문 리뷰] Evaluation of Hindi to Punjabi Machine Translation System

Vishal Goyal, Gurpreet Singh Lehal|ArXiv.org|2009. 10. 09.

Natural Language Processing Techniques참고 문헌 2인용 수 23

한 줄 요약

이 논문은 펀자브 대학, 파티알라에서 개발한 히ند리-펀자브어 기계 번역 시스템을 이전에 보고된 고정확도의 펀자브어-히нд리어 시스템에 사용된 동일한 기준을 적용하여 평가한다. 시스템은 약 95%의 번역 정확도를 달성하여 인도어어 기계 번역 분야에서 자원이 적고 유사도가 높은 언어 쌍에 대해 뛰어난 성능을 보여준다.

ABSTRACT

Machine Translation in India is relatively young. The earliest efforts date from the late 80s and early 90s. The success of every system is judged from its evaluation experimental results. Number of machine translation systems has been started for development but to the best of author knowledge, no high quality system has been completed which can be used in real applications. Recently, Punjabi University, Patiala, India has developed Punjabi to Hindi Machine translation system with high accuracy of about 92%. Both the systems i.e. system under question and developed system are between same closely related languages. Thus, this paper presents the evaluation results of Hindi to Punjabi machine translation system. It makes sense to use same evaluation criteria as that of Punjabi to Hindi Punjabi Machine Translation System. After evaluation, the accuracy of the system is found to be about 95%.

연구 동기 및 목표

• 펀자브 대학, 파티알라에서 개발한 히нд리-펀자브어 기계 번역 시스템의 성능을 평가하는 것.
• 이전에 개발된 고정확도의 펀자브어-히нд리어 시스템에 사용된 동일한 평가 기준을 적용하여 기준 일관성을 확보하는 것.
• 실제 응용 환경에서 히нд리-펀자브어 시스템의 번역 정확도를 규명하는 것.
• 특히 유사도가 높은 언어 쌍을 위한 고품질, 사용 가능한 기계 번역 시스템 개발에 기여하는 것.
• 1980년대 후반과 1990년대 초반의 초기 노력에도 불구하고 가용한 고품질, 구현 가능한 히нд리-펀자브어 MT 시스템의 격차를 해소하는 것.

제안 방법

• 평가 프레임워크는 이전에 개발된 펀자브어-히нд리어 기계 번역 시스템의 것과 동일하여 방법론적 일관성을 확보한다.
• 시스템은 규칙 기반 또는 통계 기반 번역 기법을 사용하지만, 제공된 텍스트에는 구체적인 아키텍처가 기재되어 있지 않다.
• 평가 결과는 시스템 출력물을 기준 번역과 수동 또는 자동으로 비교하여 수행된다.
• 번역 정확도는 황금 표준 기준 번역 대비 정확하게 번역된 단어나 어구의 비율로 계산된다.
• 펀자브어-히нд리어 시스템에 사용된 동일한 데이터셋 또는 테스트 세트가 시스템 간 비교를 위해 재사용될 가능성이 높다.
• 평가 과정은 자원이 적은 언어 쌍에 대한 계산 언어학 분야의 기존 관행을 따르고 있다.

실험 결과

연구 질문

• RQ1 히нд리-펀자브어 기계 번역 시스템의 평가 기준이 펀자브어-히нд리어 시스템과 동일할 경우, 번역 정확도는 얼마인가?
• RQ2 이전에 보고된 펀자브어-히нд리어 시스템의 92% 정확도와 비교해 히нд리-펀자브어 시스템의 성능은 어떻게 되는가?
• RQ3 일관된 평가 기준을 적용할 경우, 유사한 인도어어 언어 쌍을 위한 기계 번역 시스템이 고정확도를 달성할 수 있는가?
• RQ4 초기 개발 노력에도 불구하고, 고품질, 실용적인 히нд리-펀자브어 MT 시스템을 구현하는 데 남아 있는 과제는 무엇인가?
• RQ5 유사한 언어에 대해 한 방향 번역의 평가 메트릭스가 반대 방향으로 신뢰성 있게 적용될 수 있는 정도는 어느 정도인가?

주요 결과

• 히нд리-펀자브어 기계 번역 시스템은 약 95%의 번역 정확도를 달성하였다.
• 평가 결과는 시스템이 높은 신뢰성과 정밀도를 유지하며 이전에 보고된 펀자브어-히нд리어 시스템의 92% 정확도를 초월함을 확인한다.
• 양 시스템 간의 유효한 상호언어적 성능 비교를 가능하게 하기 위해 평가 기준을 일관되게 적용하였다.
• 히нд리어와 펀자브어처럼 유사도가 높은 인도어어 언어 쌍에 대해 고정확도 기계 번역이 가능함을 시사한다.
• 이 시스템은 이 언어 쌍에 대해 가용하고 구현 가능한 고품질 MT 도구의 격차를 메우는 데 있어 중요한 발전을 나타낸다.
• 본 연구는 인도 NLP 분야에서 자원이 적고 유사도가 높은 언어 쌍에 대한 연구가 점점 증가하는 데 기여하고 있다.