[論文レビュー] A Fast, Compact, Accurate Model for Language Identification of Codemixed Text

Yuan Zhang, Jason Riesa+4 more|arXiv (Cornell University)|Oct 9, 2018

Natural Language Processing Techniques参考文献 16被引用数 4

ひとこと要約

本稿では、100言語でトークン単位の言語識別を実行する高速でコン act で高精度なモデルであるCMXを提案する。フィードフォワードネットワークにグローバルに制約を課したデコーダーを用い、コードミックスドテキストにおいて言語を予測する。コードミックスドデータセットで19.5%の絶対的精度向上を達成し、先行モデル比で800倍の高速化を実現。選択的でグループ化されたドロップアウトと合成学習データを用いることで、不規則なテキスト（誤字、表音転写、省略語など）に対しても頑健性を発揮する。

ABSTRACT

We address fine-grained multilingual language identification: providing a language code for every token in a sentence, including codemixed text containing multiple languages. Such text is prevalent online, in documents, social media, and message boards. We show that a feed-forward network with a simple globally constrained decoder can accurately and rapidly label both codemixed and monolingual text in 100 languages and 100 language pairs. This model outperforms previously published multilingual approaches in terms of both accuracy and speed, yielding an 800x speed-up and a 19.5% averaged absolute gain on three codemixed datasets. It furthermore outperforms several benchmark systems on monolingual language identification.

研究の動機と目的

• ソーシャルメディアやユーザーゲネレーテッドコンテンツに広がるコードミックスドテキストにおける、細分化されたトークンレベルの言語識別という課題に取り組むこと。
• 100言語および100の言語ペア（単語言語およびコードミックスド入力含む）において、高い精度と速度を維持するモデルを開発すること。
• トークンレベルのアノテーションデータの不足を補うために、言語的パターンに基づいて合成コードミックスド例を生成すること。
• 誤字、表音転写、省略語などを含む不規則なテキストに対する頑健性を向上させるために、新規の特徴ドロップアウト戦略を採用すること。
• 全文にわたり言語スイッチのペナルティを適用し、二言語制約を強制することで、ラベルの一貫性を向上させるグローバルに制約を課したデコーディング機構を設計すること。

提案手法

• 文字n-gram、スクリプト、語彙特徴を備えたフィードフォワードニューラルネットワークを用い、各トークンの言語分布を独立に予測する。
• グローバルに制約を課したデコーダーが、文全体にわたり言語スイッチのペナルティを適用し、二言語制約を強制することで、ラベルの一貫性を向上させる。
• 文字レベルと語彙レベルの特徴のバランスを保つために、選択的でグループ化されたドロップアウトを適用し、不規則なテキストにおいて語彙レベル特徴がn-gram特徴を圧倒することを防ぐ。
• 実世界のコードミキシングパターンを用いて100言語の単語言語文を混合し、200万例の合成コードミックスド学習データを生成する。
• 実世界のコードミックスドコーパス（25,000文、33万トークン）を新たに作成し、英語-スペイン語、英語-ヒンディー語、英語-インドネシア語の混合をカバーするようにアノテーションを施した。
• モデルはエンドツーエンドで学習され、GY-Mix、Twitter-Mix、Web-Mix6の3つのコードミックスドデータセットおよびKB-Mono56の単語言語コーパスで評価された。

実験結果

リサーチクエスチョン

• RQ1 100言語および100の言語ペア（コードミックスドおよび単語言語テキストを含む）において、1つのモデルが細分化された言語識別で高い精度と速度を達成できるか？
• RQ2 ベースラインのデコーディング戦略と比較して、グローバルに制約を課したデコーダーは、言語スイッチの過剰予測をどの程度軽減できるか？
• RQ3 選択的でグループ化されたドロップアウトは、誤字や表音転写を含む不規則なテキストに対して、どの程度の頑健性向上をもたらすか？
• RQ4 合成学習データは、実際のアノテーションにない未観測の言語ペアにおける一般化にどの程度寄与するか？
• RQ5 モデルのコンパクト版は、メモリ使用量を大幅に削減しながらも、競争力ある性能を維持できるか？

主な発見

• CMXは、先行の最先端モデルと比較して、3つのコードミックスドデータセットで19.5%の絶対的精度向上を達成した。特に、短く曖昧性の高い入力で最大の向上が見られた。
• 単語言語テキストでは、ベンチマーク比で1.1%の絶対的精度向上（24%の誤差削減）を達成し、優れた一般化性能を示した。
• CMXは、既存のトークンレベル言語識別システム比で800倍高速に動作し、デコーディング速度は1秒あたり206,000文字を達成した。
• グローバルに制約を課したデコーダーにより、1文あたりの予測言語数は平均1.5から1.27に減少し、過剰予測の問題が軽減された。処理時間は7%増加にとどまった。
• 50%の特徴ドロップアウトを適用した場合、誤字トークンの精度は72.1%から95.3%に上昇し、不規則なテキストに対する強い頑健性を示した。
• CMXのコンパクト版は、パrameter数を3000万から90万に削減しながらも、競争力ある性能を維持した。これにより、リソース制限のある環境でのデプロイが可能になった。