[논문 리뷰] Low Resourced Machine Translation via Morpho-syntactic Modeling: The Case of Dialectal Arabic

Alexander Erdmann, Nizar Habash외 2명|arXiv (Cornell University)|2017. 12. 18.

Natural Language Processing Techniques참고 문헌 53인용 수 6

한 줄 요약

이 논문은 모ор프로-구문적 모델링과 피벗 기반 번역을 통합하여 이집트어 및 레바논어 등 저자원 아랍어 방언 번역 시스템을 제안한다. 이는 기준 모델 대비 성능을 크게 향상시키며, 단일 번역 데이터 코퍼스 외부 자원(단일 언어 데이터, 형태소 분석기, 피벗 모델 등)을 활용해 블라인드 테스트 세트에서 BLEU 점수를 14.6(기준)에서 17.5로 상승시킨다. 이는 문법적 및 형태소적 제약 조건이 자료가 부족한 환경에서도 유창성과 정확도를 향상시킬 수 있음을 보여준다.

ABSTRACT

We present the second ever evaluated Arabic dialect-to-dialect machine translation effort, and the first to leverage external resources beyond a small parallel corpus. The subject has not previously received serious attention due to lack of naturally occurring parallel data; yet its importance is evidenced by dialectal Arabic's wide usage and breadth of inter-dialect variation, comparable to that of Romance languages. Our results suggest that modeling morphology and syntax significantly improves dialect-to-dialect translation, though optimizing such data-sparse models requires consideration of the linguistic differences between dialects and the nature of available data and resources. On a single-reference blind test set where untranslated input scores 6.5 BLEU and a model trained only on parallel data reaches 14.6, pivot techniques and morphosyntactic modeling significantly improve performance to 17.5.

연구 동기 및 목표

• 작은 병렬 코퍼스 외부의 외부 언어 자원을 활용하여 아랍어 방언 간 번역에서 병렬 데이터 부족 문제를 해결하고자 한다.
• 저자원 방언 아랍어 환경에서 형태소 및 문법을 모델링하는 것이 번역 성능 향상에 기여하는지 조사하고자 한다.
• 피벗 기반 번역과 형태소-구문적 제약 조건이 이집트어 및 레바논어 번역의 유창성과 정확도 향상에 얼마나 효과적인지 평가하고자 한다.
• 유사한 형태소-구문적 변형을 보이는 다른 저자원 언어 쌍에 적용 가능한 프레임워크를 개발하고자 한다.
• 방언에 관계없는 도구와 단일 언어 데이터 마이닝을 통해 데이터 희소성 문제를 줄이고 모델의 일반화 능력을 향상시키고자 한다.

제안 방법

• 시스템은 이집트어에서 영어로, 그리고 영어에서 레바논어로 번역하는 피벗 기반 접근 방식을 사용하며, 기존의 영어 병렬 데이터를 활용한다.
• 형태소 분석기와 품사 태거를 통합하여 확정성, 성별, 수, 품사 등 형태소-구문적 특징을 모델링한다.
• 형태소-구문적 제약 조건을 강제 적용하여 오류를 수정하기 위해 분류 기반 재정렬 모델(Dir+PP+Morph)을 훈련한다.
• 형태소-구문적으로 타당한 더 긴, 빈도가 낮은 어절 쌍을 선호함으로써 어절 수준의 정렬을 향상시키고 과다 분할 오류를 줄인다.
• 단일 언어 데이터를 활용해 언어 모델을 훈련하고, 시드 데이터와 기대 최대화 기법을 통해 유사 문장 쌍을 추출하여 병렬 훈련 세트를 보강한다.
• 형태소-구문적 제약 조건을 신경망 재정렬 프레임워크에 통합하여 형태소 정확도 향상과 전체적인 유창성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 제한된 병렬 데이터가 존재하는 저자원 아랍어 방언 간 번역에서 형태소-구문적 모델링이 유의미한 성능 향상에 기여할 수 있는가?
• RQ2 형태소-구문적 제약 조건과 결합된 피벗 기반 번역 시스템이 번역 품질 향상에 얼마나 효과적인가?
• RQ3 형태소-구문적 특징이 어순 정렬, 어절 분할, 어휘 삽입 오류 감소에 어느 정도 기여하는가?
• RQ4 단일 언어 데이터 및 형태소 분석기와 같은 외부 자원이 방언 아랍어 번역의 데이터 희소성 문제를 완화하는 데 효과적인가?
• RQ5 형태소-구문적 제약 조건이 번역에서 더 길고 빈도가 낮은 어절 쌍의 선택에 어떻게 영향을 미치는가?

주요 결과

• 병렬 데이터만으로 훈련된 기준 모델은 단일 참조 블라인드 테스트 세트에서 BLEU 점수 14.6을 기록한다.
• 피벗 기반 기법과 형태소-구문적 모델링을 융합한 제안된 방법은 BLEU 점수 17.5를 달성하여 기준 모델 대비 유의미한 향상을 이룬다.
• 형태소-구문적 제약 조건은 대상 특징에서 형태소 오류를 17% 감소시켰으며, 기준 모델에서는 7.4%의 토큰이 형태소-구문적 특성을 잘못 표현했으나, 개선된 모델에서는 6.1%로 감소하였다.
• 형태소적으로 타당한 더 긴 어절 쌍의 선택을 가능하게 함으로써 과다 분할 오류를 줄였다. 이는 빈도가 낮더라도 유의미한 어절 쌍을 선호하기 때문이다.
• 예를 들어 'what'이라는 단어를 아랍어에 무분별하게 삽입하는 오류는 null 토큰에 대응하지 않는 품사 제약 조건을 모델링함으로써 수정된다.
• 전반적인 오류 감소 효과는 주로 간접적이다. 보정 후 5.2%의 오류가 남아 있었고, 이는 기준 모델의 7.1%에서 감소한 것이다. 이는 더 나은 문법적 및 어절 수준의 모델링 덕분이다.