[論文レビュー] Language Modeling for Code-Switched Data: Challenges and Approaches

Ganji Sreeram, Rohit Sinha|arXiv (Cornell University)|Nov 9, 2017

Natural Language Processing Techniques参考文献 11被引用数 5

ひとこと要約

本稿では、語彙的・構文的特徴を統合することで、ヒンディー語-英語混在（ヒングリッシュ）テキストのための要因付き再帰的ニューラルネットワーク言語モデル（RNN-LM）を提案する。部分品詞（POS）タグと、新たに導入されたコードスイッチ要因（CS要因）を統合し、パープレキシティを向上させた。CS要因はPOSに依存せずにコードスイッチパターンを捉えるものであり、ヒングリッシュテストデータで22.97のパープレキシティを達成した。これはベースラインモデルを著しく上回り、POS特徴のみを用いた場合と比較して累積的な向上効果を示した。

ABSTRACT

Lately, the problem of code-switching has gained a lot of attention and has emerged as an active area of research. In bilingual communities, the speakers commonly embed the words and phrases of a non-native language into the syntax of a native language in their day-to-day communications. The code-switching is a global phenomenon among multilingual communities, still very limited acoustic and linguistic resources are available as yet. For developing effective speech based applications, the ability of the existing language technologies to deal with the code-switched data can not be over emphasized. The code-switching is broadly classified into two modes: inter-sentential and intra-sentential code-switching. In this work, we have studied the intra-sentential problem in the context of code-switching language modeling task. The salient contributions of this paper includes: (i) the creation of Hindi-English code-switching text corpus by crawling a few blogging sites educating about the usage of the Internet (ii) the exploration of the parts-of-speech features towards more effective modeling of Hindi-English code-switched data by the monolingual language model (LM) trained on native (Hindi) language data, and (iii) the proposal of a novel textual factor referred to as the code-switch factor (CS-factor), which allows the LM to predict the code-switching instances. In the context of recognition of the code-switching data, the substantial reduction in the PPL is achieved with the use of POS factors and also the proposed CS-factor provides independent as well as additive gain in the PPL.

研究の動機と目的

• ヒンディー語-英語（ヒングリッシュ）テキストにおける低リソースなコードスイッチド言語モデリングの課題に取り組むこと。特に、外国語の語彙が文脈的サポートを欠く状況を想定する。
• 部分品詞（POS）特徴が、コードスイッチドデータ上で単語レベルのヒンディー語RNN-LMの性能を向上させる有効性を検証すること。
• コードスイッチパターンを単語の文脈とは独立してモデル化できる、新たなテクスト特徴（コードスイッチ要因：CS要因）を提案・評価すること。
• POSとCS要因を組み合わせることで、ベースラインモデルや要因付きモデルと比較して、パープレキシティがさらに低減することを実証すること。

提案手法

• ヒングリッシュ言語モデリングのためのトレーニングデータとして、教育系ブログサイトをクローリングしてヒンディー語-英語混在テキストコーパスを収集した。
• 純ヒンディー語と混在したヒングリッシュデータの両方で、単語レベルのヒンディー語RNN-LMを訓練した。この際、構文的文脈を保つためにPOSタグを要因として用いた。
• 語彙的・構造的手がかりに基づき、ヒンディー語と英語の語の間でのスイッチ確率をモデル化するため、新たなコードスイッチ要因（CS要因）を導入した。
• RNN-LMをPOSとCS要因の両方を用いた要因付きモデルに拡張し、語列とコードスイッチイベントの同時予測を可能にした。
• パープレキシティ（PPL）を、ヒングリッシュおよび純ヒンディー語のテストセットで評価指標として用い、妥当性を確保するため3分割交差検証を実施した。
• 提案された特徴の有効性を検証するため、5-gram言語モデル、標準RNN-LM、クラスベースRNN-LMと比較した。

実験結果

リサーチクエスチョン

• RQ1 部分品詞（POS）特徴は、ヒンディー語-英語混在テキストにおける単語レベルのヒンディー語RNN-LMの性能を向上させることができるか？
• RQ2 提案されたコードスイッチ要因（CS要因）は、コードスイッチド言語パターンのモデリングにおいて、独立的かつ測定可能な向上効果を示すか？
• RQ3 POSとCS要因の併用効果は、個々の特徴と比較して、コードスイッチドデータにおけるパープレキシティ低減にどの程度寄与するか？
• RQ4 CS要因の導入は、低リソースなコードスイッチドデータにおいて、従来の言語モデリング手法をどの程度上回るか？

主な発見

• POS要因のみを用いた要因付きRNN-LMは、ヒングリッシュテストデータのパープレキシティ（PPL）を、標準RNN-LMの89.67から39.03にまで低下させ、顕著な改善を示した。
• 提案されたCS要因のみを用いた場合、ヒングリッシュデータのPPLは36.52まで低下し、POS特徴が存在しない状況でも有効であることが示された。
• POSとCS要因の併用により、ヒングリッシュテストデータでPPLが22.97まで低下し、両特徴が加法的に効果を発揮していることが確認された。
• 両特徴を組み合わせた要因付きRNN-LMは、ヒングリッシュテストセットでPPLが38.89を記録し、5-gram言語モデル（92.11）と標準RNN-LM（89.67）を上回った。
• POSタグを用いたヒンディー語-英語データで学習したモデルは、純ヒンディー語データよりもヒングリッシュデータへの一般化性能が優れており、特にOOV（未知語）の英語語彙の処理が良好であった。
• CS要因は推定が簡単でありながらも、特に文脈が乏しいコードスイッチング（外国語語彙に構文的情報がほとんどない状況）において顕著な効果を示した。