[論文レビュー] Comparing Approaches to Dravidian Language Identification

Tommi Jauhiainen, Tharindu Ranasinghe+1 more|arXiv (Cornell University)|Mar 9, 2021

Natural Language Processing Techniques参考文献 44被引用数 12

ひとこと要約

本論文は、カナダ、マラヤーラム、タミルの3言語を含むローマ字表記のコードミックスYouTubeコメントを識別するドゥラヴィダ語言語識別（DLI）共有タスクにおいて、アダプティブ言語モデルを用いたナイーブベイズとファインチューニングされたトランスフォーマー・モデルの2つのアプローチを評価している。ナイーブベイズモデルはマクロF1スコア0.92を達成し、2位となった。トランスフォーマー基盤のモデルを上回った。これは、深層学習が他のNLP分野で優位を占める中でも、低リソース・コードミックス言語識別タスクにおいて、伝統的手法が依然として競争力を持つ可能性を示唆している。

ABSTRACT

This paper describes the submissions by team HWR to the Dravidian Language Identification (DLI) shared task organized at VarDial 2021 workshop. The DLI training set includes 16,674 YouTube comments written in Roman script containing code-mixed text with English and one of the three South Dravidian languages: Kannada, Malayalam, and Tamil. We submitted results generated using two models, a Naive Bayes classifier with adaptive language models, which has shown to obtain competitive performance in many language and dialect identification tasks, and a transformer-based model which is widely regarded as the state-of-the-art in a number of NLP tasks. Our first submission was sent in the closed submission track using only the training set provided by the shared task organisers, whereas the second submission is considered to be open as it used a pretrained model trained with external data. Our team attained shared second position in the shared task with the submission based on Naive Bayes. Our results reinforce the idea that deep learning methods are not as competitive in language identification related tasks as they are in many other text classification tasks.

研究の動機と目的

• コードミックスドゥラヴィダ語言語識別における伝統的手法と深層学習モデルの性能を評価すること。
• 低リソース・コードミックス言語識別タスクにおいて、トランスフォーマー基盤のモデルが古典的手法を上回るかを調査すること。
• ケース正規化や文字レベルn-gramの使用といった前処理選択の影響が、モデル性能に与える影響を評価すること。
• 挑戦的な多言語・コードミックスデータセットにおいて、アダプティブ言語モデルと事前学習済みトランスフォーマーの有効性を比較すること。
• 深層学習モデルが他のNLPタスクで成功を収めているにもかかわらず、特定の言語識別シナリオで性能を発揮できない理由を理解することに貢献すること。

提案手法

• 文字レベルn-gramに基づくアダプティブ言語モデルを用いたナイーブベイズ分類器を適用。下線付きと元のキャピタルケースの両方のバージョンを含む。
• トランスフォーマー基盤のアプローチとして、DJIデータセット上でエンドツーエンドにファインチューニングされた多言語BERTおよびXLM-R largeモデルを使用。
• 異なるランダムシードを用いた複数のトランスフォーマー・モデルのアンサンブル戦略を採用し、予測のロバスト性を向上。
• 0.8:0.2のトレーニング・バリデーション分割を用い、ハイパーパramータ（学習率 = 1e-5、エポック数 = 3）を最適化。
• テストセットにおけるマクロF1スコアを評価し、アンサンブルモデル全体で確率が最も高い予測を最終予測として選択。
• 前処理に関するアブレーションスタディを実施。ケース正規化と非アルファベット文字の使用を含み、特徴量の重要性を評価。

実験結果

リサーチクエスチョン

• RQ1 アダプティブ言語モデルを用いたナイーブベイズ分類器は、コードミックスドゥラヴィダ語言語識別において、トランスフォーマー基盤のモデルを上回る性能を示すか？
• RQ2 ケース正規化や非アルファベット文字の含め方といった前処理選択が、このタスクの性能に与える影響は？
• RQ3 事前学習済みトランスフォーマー・モデルは、ドゥラヴィダ語を含む低リソース・コードミックステキスト（ローマ字表記）にどの程度一般化可能か？
• RQ4 この言語識別シナリオにおいて、なぜトランスフォーマー・モデルが単純なモデルに劣るのか？
• RQ5 アンサンブル戦略は、この挑戦的で低リソースな言語識別タスクにおけるトランスフォーマー・モデルの性能を向上させられるか？

主な発見

• ナイーブベイズ分類器はマクロF1スコア0.92を達成し、DJI共有タスクで並列2位を獲得した。
• トランスフォーマー基盤のモデルはマクロF1スコア0.89を達成し、ナイーブベイズモデルより3ポイント低い性能を示した。
• 後者のモデルが多くのNLPタスクで最先端とされるにもかかわらず、ナイーブベイズモデルがそれを上回った。
• ナイーブベイズモデルにおける元のキャピタルケースと非アルファベット文字の使用は、アブレーション結果から改善の可能性を示唆した。
• モデル間の性能差は、事前学習段階でコードミックス・低リソースのローマ字表記ドゥラヴィダ語テキストに十分に触れられていないため、事前学習済みトランスフォーマーがこの分野で苦戦している可能性を示唆している。
• 深層学習手法が言語識別タスクにおいて常に優れているとは限らず、特に低リソースまたは極度にコードミックスされた環境ではそうではないという見解を支持する結果となった。