[論文レビュー] LanideNN: Multilingual Language Identification on Character Window

Tom Kocmi, Ondřej Bojar|arXiv (Cornell University)|Jan 12, 2017

Natural Language Processing Techniques参考文献 14被引用数 5

ひとこと要約

LanideNNは、事前処理を必要とせず、短い多言語テキストにおける言語境界の正確な検出を可能にする、文字レベルのスライディングウインドウで動作する双方向再帰ニューラルネットワーク（BRNN）モデルを提案する。このモデルは、131言語の単言語および多言語ベンチマークにおいて、最新の性能を達成しており、短いドキュメントやドメインを問わず高い正確性を維持している。ALTW 2010共催タスクでは、マイクロ-F1スコア0.965を達成した。

ABSTRACT

In language identification, a common first step in natural language processing, we want to automatically determine the language of some input text. Monolingual language identification assumes that the given document is written in one language. In multilingual language identification, the document is usually in two or three languages and we just want their names. We aim one step further and propose a method for textual language identification where languages can change arbitrarily and the goal is to identify the spans of each of the languages. Our method is based on Bidirectional Recurrent Neural Networks and it performs well in monolingual and multilingual language identification tasks on six datasets covering 131 languages. The method keeps the accuracy also for short documents and across domains, so it is ideal for off-the-shelf use without preparation of training data.

研究の動機と目的

• ドキュメント全体の仮定を必要とせず、任意の言語切り替えを扱える堅牢で即戦可能な言語識別システムの開発。
• 単一言語ドキュメントにとどまらず、コードスイッチィングや形式的マークアップ言語を含む、1つのテキスト内に複数の言語が混在する状況の言語識別を拡張すること。
• ファインチューニングやドメイン固有の適応なしに、ドメインやドキュメント長を問わず一般化可能なモデルの構築。
• 131言語を1つの統一アーキテクチャでカバーするため、新たに収集・手作業でクリーニングされたデータセットを用いて学習。
• ソーシャルメディアやメールなど、多言語的でノイズの多いテキストを含む実世界の応用に役立つ実用的で再利用可能なツールの提供。

提案手法

• モデルは、固定サイズの文字ウインドウを処理する双方向再帰ニューラルネットワーク（BRNN）を用い、入力シーケンス内の各文字に言語ラベルを割り当てる。
• 入力は、事前に定義された語彙からのワンホットエンコードされた文字として表現され、トークン化や正規化などの事前処理は一切施さない。
• ネットワークはエンドツーエンドで学習され、スライディングウインドウ内の各文字の言語を予測するよう設計されており、文字レベルでの言語境界検出が可能になる。
• 新たに収集され、手作業でクリーニングされたデータセットを用いて学習しており、耐性向上のためのデータ拡張も実施している。
• 多言語ドキュメントでは、各文字ごとの言語予測により言語スパンを直接同定できるため、コードスイッチィングの検出が可能になる。
• 標準的な単言語および多言語ベンチマーク（ALTW 2010およびWikipediaMulti）で評価されており、ドメイン固有の適応は一切施していない。

実験結果

リサーチクエスチョン

• RQ1 文字レベルのウインドウで学習されたニューラルネットワークモデルは、言語が混合されている短い1つのテキストにおいても、複数の言語を高精度に同定できるか？
• RQ2 BRNNベースのモデルは、多言語および単言語言語識別タスクにおいて、従来のn-gram法やナイーブベイズ法と比較してどのように性能を発揮するか？
• RQ3 再トレーニングや適応なしに、モデルの一般化性能はどのようなドメインやドキュメント長の範囲で維持されるか？
• RQ4 HTMLやURLなどの非言語的要素を含むテキストにおいて、モデルは言語境界を正しく検出できるか？
• RQ5 低リソース言語やスクリプトが重複する状況では、モデルの性能はどの程度維持されるか？

主な発見

• ALTW 2010共催タスクでは、LanideNNがマイクロ-F1スコア0.965を達成し、特に二言語ドキュメントに特化したシステムを含むすべての他のシステムを上回った。
• LanideNNの非適応版は、同じベンチマークでマイクロ-F1スコア0.941を達成し、タスク固有のチューニングなしに強い一般化性能を示した。
• WikipediaMultiデータセットでは、著者らが収集したコーパスで学習したモデルが、公式トレーニングセットでファインチューニングされたモデルと同等の性能を発揮した。特に、テストセットに存在する言語に限定した場合、その差は顕著に小さくなった。
• 短いテキスト（50〜130文字）においても、モデルは高い正確性を維持しており、特にスクリプトが類似または共有されている場合でも、言語切り替えを正しく検出できた。
• HTMLやその他のマークアップ言語を含む混合言語セグメントにおいても、モデルは言語境界を正しく同定しており、定性的な例を通じてその有効性が示された。
• 特にコードスイッチィングや低リソース言語の検出において、CLD2 や Langid.py などの既存ツールを上回る性能を発揮した。