[論文レビュー] Towards Computational Linguistics in Minangkabau Language: Studies on Sentiment Analysis and Machine Translation

Fajri Koto, Ikhwan Koto|arXiv (Cornell University)|Sep 19, 2020

Natural Language Processing Techniques参考文献 48被引用数 4

ひとこと要約

本稿は、700万人の話者を有する低リソースのオーストロネシア語圏言語・ミナングカバ語における計算言語学研究の第一号を提供し、感情分析コーパスと機械翻訳用のミナングカバ語–インドネシア語並列コーパスを紹介する。古典的機械学習および系列対系列モデル（LSTM、Transformer）を用いた研究では、語の対応翻訳がバイリンガル語彙に依存する方法がBLEUスコアで神経モデルを上回ることを明らかにした。一方、インドネシア語からミナングカバ語へのクロスリンガル転移は著しく失敗しており、言語固有のリソースの必要性が浮き彫りになった。

ABSTRACT

Although some linguists (Rusmali et al., 1985; Crouch, 2009) have fairly attempted to define the morphology and syntax of Minangkabau, information processing in this language is still absent due to the scarcity of the annotated resource. In this work, we release two Minangkabau corpora: sentiment analysis and machine translation that are harvested and constructed from Twitter and Wikipedia. We conduct the first computational linguistics in Minangkabau language employing classic machine learning and sequence-to-sequence models such as LSTM and Transformer. Our first experiments show that the classification performance over Minangkabau text significantly drops when tested with the model trained in Indonesian. Whereas, in the machine translation experiment, a simple word-to-word translation using a bilingual dictionary outperforms LSTM and Transformer model in terms of BLEU score.

研究の動機と目的

• ミナングカバ語（約700万人の話者を有する低リソースのオーストロネシア語）における計算言語学的リソースの不足に対処するため。
• 機械翻訳および感情分析用に、公開可能な最初のミナングカバ語–インドネシア語並列コーパスを構築・リリースするため。
• 古典的機械学習および神経系列対系列モデル（LSTM、Transformer）がミナングカバ語NLPタスクで果たす性能を評価するため。
• インドネシア語からミナングカバ語へのクロスリンガル転移が著しく失敗することを示し、言語固有の学習データの必要性を強調するため。
• ベンチマークデータセットおよびモデルの作成を通じて、NLPを活用してミナングカバ語の保存と促進を図るため。

提案手法

• ミナングカバ語Wikipediaの上位20,000語の頻出語を手動でインドネシア語に翻訳し、ミナングカバ語–インドネシア語バイリンガル語彙を構築した。
• 5,000件のインドネシア語文を手動でミナングカバ語に翻訳し、分類タスク用の並列ベンチマークとしての感情分析コーパスを構築した。
• ミナングカバ語感情分類のための、従来の機械学習および事前学習言語モデルを用いたベンチマークモデルを開発した。
• WikipediaおよびTwitterから自動的に16,000組のミナングカバ語–インドネシア語文の並列コーパスを高品質に作成した。
• 共有語の埋め込みとコサイン位置エンコーディングを用いて、LSTMおよびTransformer系列対系列モデルを機械翻訳用に訓練・評価した。
• BLEUスコアと人間による評価（流暢さと適切さ）を用いて、語の対応翻訳、LSTM、Transformer出力の比較評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 既存のインドネシア語NLPモデルはミナングカバ語テキストを効果的に分類できるか、それとも言語固有のモデルが必要か？
• RQ2 語の対応翻訳（バイリンガル語彙を用いる）は、ミナングカバ語–インドネシア語翻訳において、神経系列対系列翻訳（LSTM、Transformer）を上回るか？
• RQ3 なぜ系列対系列モデルはミナングカバ語–インドネシア語翻訳において、特にドメイン外データで性能を発揮できないのか？
• RQ4 ミナングカバ語とインドネシア語の語彙の重複度は、翻訳性能にどの程度影響を及えるか？
• RQ5 低リソース環境下で、ルールベース（語の対応）翻訳と神経モデルの翻訳の流暢さと適切さは、どのように比較されるか？

主な発見

• バイリンガル語彙を用いた語の対応翻訳（W2W）は、ミナングカバ語→インドネシア語翻訳において、Wikipediaテストセットで64.54という最高のBLEUスコアを達成した。
• LSTMおよびTransformerモデルはW2Wと比較して著しく性能を発揮せず、同じテストセットでBLEUスコアはそれぞれ63.77および56.25に低下した。
• 感情分析タスクにおいて、インドネシア語データで学習したモデルはミナングカバ語に一般化できず、両言語間でのクロスリンガル転移性の欠如が示された。
• 系列対系列モデルの性能低下の主な要因は、語彙外語（OOV）問題であり、感情分析コーパスの約65％の語が学習語彙に存在しなかった。
• 人間による評価では、W2W翻訳がLSTMよりも著しく適切であることが確認されたが、流暢さは類似していた。これは、LSTMモデルが流暢な出力を生成しながらも、誤ったキーワードを捏造している可能性を示唆している。
• 本研究は、ミナングカバ語のような低リソース言語において、手作業で整備された語彙に基づくルールベース翻訳が、大規模な並列データがなければ、複雑な神経モデルを上回ることを示している。