[論文レビュー] LIDE: Language Identification from Text Documents

Priyank Mathur, Arkajyoti Misra+1 more|arXiv (Cornell University)|Jan 13, 2017

Authorship Attribution and Profiling参考文献 5被引用数 3

ひとこと要約

LIDE は、双方向 RNN と文字レベルの n-gram を活用した深層学習ベースの言語識別システムであり、DSL 2015 ベンチマークで 95.12% の精度を達成し、伝統的なモデルや業界標準の API よりも、南西スラブ語とイベロ=ラテン語族の類似言語を識別する能力に優れている。

ABSTRACT

The increase in the use of microblogging came along with the rapid growth on short linguistic data. On the other hand deep learning is considered to be the new frontier to extract meaningful information out of large amount of raw data in an automated manner. In this study, we engaged these two emerging fields to come up with a robust language identifier on demand, namely Language Identification Engine (LIDE). As a result, we achieved 95.12% accuracy in Discriminating between Similar Languages (DSL) Shared Task 2015 dataset, which is comparable to the maximum reported accuracy of 95.54% achieved so far.

研究の動機と目的

• 従来の手法が苦手とする、非常に類似した言語を区別できる堅牢な、深層学習ベースの言語識別システムの開発。
• トークン化に依存するモデルの限界を克服するため、語の区切りがない言語（例：日本語や中国語）にも対応できるように、文字レベルの n-gram を使用。
• 多言語データセットに含まれる困難な言語対（例：セルビア語、クロアチア語、ボスニア語）を対象に、最先端の商用およびオープンソースの言語検出ツールと比較して、提案モデルのベンチマーク評価。
• RNN を用いたエンドツーエンド学習により、低リソース言語や語形変化の複雑な言語対の言語的パターンを学習し、性能を向上させる。

提案手法

• 語の区切りに依存しないように、文字レベルの n-gram（1–5-gram）を入力特徴として採用し、日本語や中国語のような言語に対応する。
• 順序依存性をモデル化し、言語固有の構造的パターンを捉えるために、双方向 Long Short-Term Memory（LSTM）ネットワークを組み合わせた深層ニューラルネットワークアーキテクチャを設計。
• 13 語の言語（7 つの言語系統に分類）を含む 18,000 個のトレーニングインスタンスのデータセットを用い、エンドツーエンドでモデルを学習。特にセルビア語、クロアチア語、ボスニア語のような困難な言語対を含む。
• 特徴空間の可視化に t-SNE を適用し、類似した言語がクラスタリングされることを確認することで、モデルが微細な言語的差異を学習できていることを検証。
• 複数の RNN モデルを組み合わせることでアンサンブル学習を実装し、多様な言語系統にわたる汎化性能と耐障害性を向上。
• 開発セット（devel.txt）を用いたハイパーパrameterチューニングを行い、最終的な性能は公式テストセット（test-gold.txt）で評価。

実験結果

リサーチクエスチョン

• RQ1 従来の n-gram や確率的モデルと比較して、深層学習モデルは類似言語対において優れた性能を達成できるか？
• RQ2 文字レベルの n-gram と RNN は、イベロ=ラテン語族や南西スラブ語の類似変種のような、非常に近縁な言語間の微細な言語的差異をどの程度捉えることができるか？
• RQ3 標準化されたベンチマーク（混合言語および方言を含む）において、提案モデルは商用およびオープンソースの言語検出 API と比較してどの程度の性能を示すか？
• RQ4 エンドツーエンド学習による RNN は、ルールベースや頻度ベースのモデルに比べ、低リソース言語や語形変化の複雑な言語状況でその限界を克服できるか？
• RQ5 特に双方向 RNN のようなアーキテクチャ設計が、表記や文法的特徴が重複する言語を区別する上で果たす役割は何か？

主な発見

• LIDE は DSL 2015 テストセットで 95.12% の精度を達成し、評価対象のすべてのシステムの中で第1位となり、95.54% の最先端水準に非常に近い結果を示した。
• Google Translate API（89%）と Yandex Translator API（79%）は、南西スラブ語のグループではわずか 38% の精度にとどまったが、LIDE はその大幅な上回りを記録した。
• アストロネシア語群（インドネシア語とマレー語）においても、LIDE は Yandex（62.75%）や Rosette（86%）を上回る高い精度を達成し、強力な汎化性能を示した。
• 誤分類マトリクスの結果から、Google Translate や Yandex といった商用 API は、ブラジルポルトガル語とヨーロッパポルトガル語の方言を区別できなかったが、LIDE は正しく分類していた。
• 広く使われているオープンソースツールである langid.py は 80% の精度を示したが、依然として LIDE に劣っており、深層学習のアプローチが従来のナイーブベイズ手法に比べて優位であることが示された。
• t-SNE の可視化結果から、類似した言語がクラスタリングされている一方で、特にイベロ=ラテン語族および南西スラブ語グループにおいて、モデルがそれらを明確に分離できていることが確認された。