[論文レビュー] Language Recognition using Random Indexing

Aditya Joshi, Johan T. Halseth+1 more|arXiv (Cornell University)|Dec 22, 2014

Natural Language Processing Techniques参考文献 9被引用数 9

ひとこと要約

本稿では、文字n-グラムを10,000次元のハイパーディメンショナルベクトルに符号化するためのランダムインデクシングを用いた、高速でスケーラブルな言語認識手法を提案する。10,000次元のハイパーディメンショナルベクトルを用い、21,000件の多言語テストデータセットでtetragramを用いて97.8%の精度を達成しており、標準的なハードウェア上で単一パス処理により、高い効率性と低コストな計算を実現している。

ABSTRACT

Random Indexing is a simple implementation of Random Projections with a wide range of applications. It can solve a variety of problems with good accuracy without introducing much complexity. Here we use it for identifying the language of text samples. We present a novel method of generating language representation vectors using letter blocks. Further, we show that the method is easily implemented and requires little computational power and space. Experiments on a number of model parameters illustrate certain properties about high dimensional sparse vector representations of data. Proof of statistically relevant language vectors are shown through the extremely high success of various language recognition tasks. On a difficult data set of 21,000 short sentences from 21 different languages, our model performs a language recognition task and achieves 97.8% accuracy, comparable to state-of-the-art methods.

研究の動機と目的

• 最小限の計算リソースを要する軽量でスケーラブルな言語識別手法の開発を目的とする。
• 高次元ベクトル空間における言語的特徴の符号化にランダムインデクシングを用いることを検討する。
• 短い文から構成される多様で挑戦的な多言語データセット上で、手法の精度を評価する。
• ハイパーディメンショナルベクトル表現がn-グラム統計から言語固有のパターンを効果的に捉えられることを示す。
• 手法が計算的に効率的であり、最小限のメモリ使用量で線形時間で動作することを示す。

提案手法

• 1-から5-グラムまでの文字n-グラムを、固定されたランダムプロジェクションを用いたランダムインデクシングにより、10,000次元のハイパーディメンショナルベクトルに符号化する。
• 各文字および空白には、+1と-1の数が等しい一意なランダムバイナリーベクトルが割り当てられ、これがランダムラベルとして機能する。
• n-グラムのシーケンスは、ベクトル乗算、加算、および固定されたランダム順列を用いて符号化され、順序の保持とシーケンスの区別が確保される。
• 言語ベクトルは、大規模なテキストサンプル上で符号化されたn-グラムベクトルを合算することで構築され、言語の統計的プロファイルの高次元表現が得られる。
• 言語ベクトル間の類似度は、正規化されたベクトル間のコサイン類似度を用いて測定され、最近傍法による分類が可能になる。
• システムは、ラップトップ上で1秒あたり約100,000文字の速度でテキストを単一パスで処理でき、非常に効率的かつスケーラブルである。

実験結果

リサーチクエスチョン

• RQ1 ランダムインデクシングは、言語識別に適した高次元ベクトルに言語的n-グラム統計を効果的に符号化できるか？
• RQ2 n-グラムサイズ（1-グラムから5-グラムまで）の違いが、手法の性能にどのように影響するか？
• RQ3 本手法は、計算コストとメモリ使用量を最小限に抑えつつ、高い精度を達成できるか？
• RQ4 本手法は、類縁の近い言語を区別できるか？また、ベクトル空間において言語の系統的関係を保持できるか？
• RQ5 最先端の言語検出システムと比較して、本手法の精度と効率性はどの程度か？

主な発見

• 本手法は、21の言語からなる21,000件の短文から構成されるテストデータセットにおいて、tetragramを用いて言語識別で97.8%の精度を達成した。
• n-グラムサイズが大きくなるにつれて精度が向上し、tetragramで97.8%、pentagramで97.3%、trigramで97.3%のピークに達した。
• 97.8%のケースで言語の系統が正しく同定され、誤分類の多くは関連する言語であった。
• t-SNEを用いた可視化により、文字trigramから構築された言語ベクトルは、言語系統ごとに意味的なクラスタリングを示しており、構造的整合性が確認された。
• 1言語あたりの言語ベクトルの学習には、標準的なラップトップで約1秒で完了し、計算効率の高さが裏付けられた。
• 本手法は線形時間で動作し、メモリ使用量も最小限であり、1秒あたり約100,000文字の処理速度を達成しており、リアルタイムアプリケーションに適している。