[논문 리뷰] Towards Computational Linguistics in Minangkabau Language: Studies on Sentiment Analysis and Machine Translation

Fajri Koto, Ikhwan Koto|arXiv (Cornell University)|2020. 09. 19.

Natural Language Processing Techniques참고 문헌 48인용 수 4

한 줄 요약

이 논문은 Minangkabau 어에 대한 첫 번째 계산어학 연구를 제시하며, 감성 분석 코퍼스와 기계 번역을 위한 Minangkabau–인도네시아어 평행 코퍼스를 소개한다. 고전적 기계 학습 및 시퀀스-투-시퀀스 모델(LSTM, Transformer)을 사용한 연구에서, 이중어사전를 통한 단어 대 단어 번역이 BLEU 점수에서 신경망 모델보다 뛰어난 성능을 보였고, 인도네시아어에서 Minangkabau어로의 교차 언어 전이가 심각하게 실패함을 확인하여, 언어별 자원이 필요하다는 점을 강조한다.

ABSTRACT

Although some linguists (Rusmali et al., 1985; Crouch, 2009) have fairly attempted to define the morphology and syntax of Minangkabau, information processing in this language is still absent due to the scarcity of the annotated resource. In this work, we release two Minangkabau corpora: sentiment analysis and machine translation that are harvested and constructed from Twitter and Wikipedia. We conduct the first computational linguistics in Minangkabau language employing classic machine learning and sequence-to-sequence models such as LSTM and Transformer. Our first experiments show that the classification performance over Minangkabau text significantly drops when tested with the model trained in Indonesian. Whereas, in the machine translation experiment, a simple word-to-word translation using a bilingual dictionary outperforms LSTM and Transformer model in terms of BLEU score.

연구 동기 및 목표

• Minangkabau어에 대한 계산어학 자원의 부족을 해결하기 위해, 약 700만 명의 사용자가 있는 저자원 아스트로네시아어인 Minangkabau어에 대해 연구한다.
• 기계 번역 및 감성 분석을 위한 공개적으로 이용 가능한 첫 번째 Minangkabau–인도네시아어 평행 코퍼스를 개발하고 배포한다.
• 고전적 기계 학습 및 신경 시퀀스-투-시퀀스 모델(LSTM, Transformer)이 Minangkabau NLP 작업에서 성능을 어떻게 평가하는지 연구한다.
• 인도네시아어에서 Minangkabau어로의 교차 언어 전이가 심각하게 실패함을 입증하여, 언어별로 맞춤화된 학습 데이터가 필요하다는 점을 보여준다.
• 기준 데이터셋과 모델을 구축하여 NLP를 통해 Minangkabau어를 보존하고 보급한다.

제안 방법

• Minangkabau 위키백과의 상위 20,000개의 빈도 높은 단어를 인도네시아어로 수동으로 번역하여 Minangkabau–인도네시아어 이중어사전을 구축했다.
• 5,000개의 인도네시아어 문장을 수동으로 Minangkabau어로 번역하여 감성 분석 코퍼스를 구축하고, 분류 작업을 위한 평행 기준 데이터를 마련했다.
• Minangkabau 감성 분류를 위한 전통적 기계 학습 및 사전 학습된 언어 모델 기반의 기준 모델을 개발했다.
• 위키백과와 트위터에서 자동으로 16,000개의 Minangkabau–인도네시아어 문장 쌍으로 고품질의 평행 코퍼스를 생성했다.
• 공유 단어 임베딩과余弦 위치 인코딩을 사용하여 LSTM 및 Transformer 시퀀스-투-시퀀스 모델을 훈련하고 평가했다.
• BLEU 점수를 사용하여 모델을 평가하고, 유창성과 적절성에 대한 인간 평가를 실시하여 단어 대 단어 번역, LSTM, Transformer 출력를 비교했다.

실험 결과

연구 질문

• RQ1 기존의 인도네시아어 NLP 모델이 Minangkabau어 텍스트를 효과적으로 분류할 수 있는가, 아니면 언어별로 맞춤화된 모델이 필요한가?
• RQ2 Minangkabau–인도네시아어 번역에서 신경 시퀀스-투-시퀀스 번역(LSTM, Transformer)이 이중어사전를 사용한 단어 대 단어 번역보다 성능이 뛰어나게 되는가?
• RQ3 왜 시퀀스-투-시퀀스 모델이 Minangkabau–인도네시아어 번역에서 성능이 떨어지는가, 특히 도메인 외부 데이터에서일까?
• RQ4 Minangkabau어와 인도네시아어 간의 어휘 겹침 정도가 번역 성능에 어떤 영향을 미치는가?
• RQ5 저자원 환경에서 규칙 기반(단어 대 단어) 번역과 신경망 모델 간의 번역 유창성과 적절성은 어떻게 비교되는가?

주요 결과

• 이중어사전를 사용한 단어 대 단어(W2W) 번역은 Minangkabau어에서 인도네시아어로의 번역에서 최고의 BLEU 점수를 기록했으며, 위키백과 테스트 세트에서 64.54를 기록했다.
• LSTM 및 Transformer 모델은 W2W에 비해 유의미하게 성능이 열 劣하므로, 동일한 테스트 세트에서 BLEU 점수는 각각 63.77과 56.25로 떨어졌다.
• 감성 분석 작업에서 인도네시아어 데이터로 훈련된 모델은 Minangkabau어로 일반화하지 못했으며, 두 언어 간의 교차 언어 전이 가능성 부족을 시사했다.
• 시퀀스-투-시퀀스 모델의 성능 저하 원인은 주로 OOV(훈련 어휘 외 단어) 문제에 기인했으며, 감성 코퍼스의 약 65%의 단어가 훈련 어휘에 포함되지 않았다.
• 인간 평가 결과 W2W 번역이 LSTM보다 유의미하게 더 적절했지만, 유창성은 유사했으며, 이는 LSTM 모델이 유창한 출력을 내는 동안 잘못된 关건어를 환상적으로 생성했다는 것을 시사한다.
• 이 연구는 Minangkabau어와 같이 저자원 언어의 경우, 대규모 평행 데이터 없이도 정제된 어휘 사전 기반의 규칙 기반 번역이 더 뛰어난 성능을 낼 수 있음을 입증한다.