[論文レビュー] Short Text Language Identification for Under Resourced Languages

Bernardt Duvenhage|arXiv (Cornell University)|Nov 18, 2019

Authorship Attribution and Profiling参考文献 22被引用数 4

ひとこと要約

本稿では、リソースが乏しい南アフリカ諸言語における短いテキストの言語識別に、階層的ナイーブベイズと語彙ベースの分類器を提案し、DSL 2017データセットで98.70%の精度を達成した。モデルは言語系統のグループ化と語彙支援を活用し、類似言語における性能を向上させ、短く非公式なテキストにおいて、既存手法を上回る高い効率性を実現した。

ABSTRACT

The paper presents a hierarchical naive Bayesian and lexicon based classifier for short text language identification (LID) useful for under resourced languages. The algorithm is evaluated on short pieces of text for the 11 official South African languages some of which are similar languages. The algorithm is compared to recent approaches using test sets from previous works on South African languages as well as the Discriminating between Similar Languages (DSL) shared tasks' datasets. Remaining research opportunities and pressing concerns in evaluating and comparing LID approaches are also discussed.

研究の動機と目的

• リソースが乏しい南アフリカ諸言語、特に言語的類似性の高い短く非公式なテキストにおける正確な言語識別の課題に対処すること。
• 階層的分類と語彙統合を通じて、類似言語（例：ンギニ語族およびソト語族）における性能を向上させること。
• 限られた学習データを伴う低リソースNLPパイプラインに適した、軽量で効率的なモデルの開発。
• 標準化されたベンチマーク（DSL 2015およびDSL 2017データセットを含む）において、最近の最先端手法と比較してモデルの性能を評価すること。
• 語彙支援とデータ拡張が、大規模なアノテート済みコーパスに依存する必要を減らす役割を果たすかの探求。

提案手法

• 言語を系統（例：ンギニ語族、ソト語族）で最初にグループ化し、次にナイーブベイズモデルを用いて正確な言語を特定する2段階の階層的分類器を提案。
• 特にリソースが乏しい状況下で、類似言語の区別を向上させるために語彙ベースのコンponentを統合。
• ナイーブベイズ分類器の入力として、文字レベルのn-gramと言語系統特徴を用いる。
• ナイーブベイズ分類器と語彙モジュールを組み合わせたスタックドモデルアーキテクチャを採用し、語彙ドロップアウト（50%）によるアブレーションスタディを実施して影響を評価。
• scikit-learnを用いてPythonでモデルを実装し、デフォルトのハイパーパrameterを採用。2段階の学習率スケジュール（0.001 その後 0.0001）を適用。
• 標準的な精度指標を用いて、3つのベンチマークデータセット（NCHLT、DSL 2015、DSL 2017）で性能を評価。

実験結果

リサーチクエスチョン

• RQ1 リソースが乏しく、類似性の高い南アフリカ諸言語における短いテキストの言語識別に、階層的ナイーブベイズと語彙ベースのアプローチはどの程度効果的か？
• RQ2 語彙支援は、特に密接に類似した言語において、分類精度をどの程度向上させるか？
• RQ3 標準化された短いテキストベンチマークにおいて、fasttext やSVM、RNNアンサンブルといった最先端手法と比較して、本モデルの性能はどの程度か？
• RQ4 ディープラーニングベースラインと比較して、本モデルの推論速度と計算効率はいかがなっているか？
• RQ5 データ拡張と自己教師付き語彙メンテナンスは、リソースが乏しい状況下で、大規模なアノテート済みデータセットへの依存をどの程度軽減できるか？

主な発見

• ナイーブベイズと語彙を統合したスタックドモデル（NB+Lex）は、DSL 2017データセットで98.70%の精度を達成し、本研究で報告されたすべてのベースラインを上回った。
• 語彙のみのモデルは、DSL 2017で93.56%の精度を達成し、適切に支援された場合に類似言語を区別する上で顕著な価値を示した。
• NCHLTデータセットでは96.12%の精度を達成し、単体のナイーブベイズ（94.36%）およびNB+NB（94.41%）の変種を上回った。
• NCHLTデータセットでは、本モデルは1秒間に7.4k件の推論要求を処理でき、BRNN（0.75/s）よりも高速であり、fasttext（44k/s）と同等の速度を達成した。
• 語彙ドロップアウト50%のアブレーション実験では、DSL 2017で精度が96.21%に低下し、語彙支援が性能向上に重要な貢献をしていることが確認された。
• モデルの性能は語彙の質に強く依存しており、語彙ドロップアウト50%で精度が2.5ポイント低下した。これは、語彙特徴に強く依存していることを示している。