[論文レビュー] N-gram and Neural Language Models for Discriminating Similar Languages

Andre Cianflone, Leila Kosseim|arXiv (Cornell University)|Aug 11, 2017

Authorship Attribution and Profiling参考文献 13被引用数 3

ひとこと要約

本稿は、2016年のDSL共有タスクにおいて、類似言語を区別するための文字ベースn-gramおよび双方向LSTMを用いた畳み込みニューラルネットワーク（CLSTM）モデルの評価を行っている。n-gramモデルは88.45%の正解率を達成し、7位となった。一方、CLSTMモデルは最小限のチューニングで78.45%の正解率にとどまり、限られた学習データにおいても伝統的なn-gramモデルが初期のニューラルネットワークを上回ることを示している。

ABSTRACT

This paper describes our submission (named clac) to the 2016 Discriminating Similar Languages (DSL) shared task. We participated in the closed Sub-task 1 (Set A) with two separate machine learning techniques. The first approach is a character based Convolution Neural Network with a bidirectional long short term memory (BiLSTM) layer (CLSTM), which achieved an accuracy of 78.45% with minimal tuning. The second approach is a character-based n-gram model. This last approach achieved an accuracy of 88.45% which is close to the accuracy of 89.38% achieved by the best submission, and allowed us to rank #7 overall.

研究の動機と目的

• 類似言語を区別するタスクにおいて、文字ベースn-gramおよびニューラルネットワークモデルの有効性を評価すること。
• 限られたデータ環境下で、CLSTMのような深層ニューラルネットワークが、従来のn-gramモデルを上回る可能性があるかどうかを検証すること。
• 特にスペイン語の方言とフランス語の方言のような類縁言語を区別する際の課題を調査すること。
• 固有表現が言語識別性能に与える影響がどの程度であるかを特定すること。
• 言語的アノテーションなしで生テキストを用いて言語識別モデルを学習する可能性を検討すること。

提案手法

• DSL 2016新聞コーパス（セットA）を用いて、n=7の文字ベースn-gramモデルをクローズドトラック提出用に学習した。
• 1次元畳み込み層に続く双方向LSTM層を用いたハイブリッドCLSTMモデルを実装し、生文字列を処理した。
• n-gramモデルは、文字レベルの周波数ベクトルを特徴量として用い、SVM分類を実施した。
• CLSTMモデルは、言語的前処理なしに、文字レベルの入力をエンドツーエンドで学習した。
• 両モデルとも、DSL 2016共有タスクの同一のホールドアウトテストセットで評価された。
• モデルの性能は、スペイン語の地域的変種、フランス語、その他の国別バリエーションを含む12言語バリエーションにおけるマクロF1および正解率で測定された。

実験結果

リサーチクエスチョン

• RQ1 限られた学習データで、文字ベースn-gramモデルは類縁言語を高精度に区別できるか？
• RQ2 学習データが限られる状況下で、CLSTMモデルは従来のn-gramモデルを上回る性能を示せるか？
• RQ3 特にスペイン語やフランス語のような類縁言語グループにおいて、誤分類はどのように分布するか？
• RQ4 類縁言語識別タスクにおいて、固有表現は言語識別性能にどの程度影響を与えるか？
• RQ5 類縁言語バリエーションを区別するために、2段階の階層的分類アプローチは必要か？

主な発見

• 文字ベースn-gramモデルは、DSL 2016共有タスクのクローズドトラックで88.45%の正解率を達成し、参加者17名中7位となった。
• CLSTMモデルは、最小限のハイパーパramータチューニングで78.45%の正解率にとどまり、n-gramベースラインと比べて顕著に性能が低かった。
• n-gramモデルは全言語グループで優れた性能を示し、F1スコアは0.70から0.95の範囲にあり、マレー語とインドネシア語で最も高精度（F1=0.99）を記録した。
• CLSTMモデルはスペイン語の方言、特にメキシコスペイン語で最も困難を示し、F1スコアはたった0.46にとどまり、スペイン語の方言間で高い混同が生じていた。
• 言語グループ間での誤分類は希で、統計的に有意ではなかったため、階層的2段階アプローチは必ずしも必要ではないと考えられる。
• 驚くべきことに、学習データから固有表現を除去しても正解率は1〜2ポイントしか低下しなかったため、固有表現は主な識別信号ではないことが示された。