[論文レビュー] Labeling of Query Words using Conditional Random Field

Satanu Ghosh, Souvick Ghosh+1 more|arXiv (Cornell University)|Jul 29, 2016

Natural Language Processing Techniques参考文献 12被引用数 5

ひとこと要約

本論文は、英語および8つのインド諸言語を含むローマ字表記のマルチリンガルクエリにおける語の言語タグ付与のための条件付きランダムフィールド（CRF）ベースのフレームワークを提案する。語の意味的文脈特徴と辞書ベースの言語識別を組み合わせることで、FIRE 2015におけるミックススクリプト情報検索タスクで、トークンレベルの正確性75.5%、重み付きFスコア0.7498を達成し、優れた性能を示した。

ABSTRACT

This paper describes our approach on Query Word Labeling as an attempt in the shared task on Mixed Script Information Retrieval at Forum for Information Retrieval Evaluation (FIRE) 2015. The query is written in Roman script and the words were in English or transliterated from Indian regional languages. A total of eight Indian languages were present in addition to English. We also identified the Named Entities and special symbols as part of our task. A CRF based machine learning framework was used for labeling the individual words with their corresponding language labels. We used a dictionary based approach for language identification. We also took into account the context of the word while identifying the language. Our system demonstrated an overall accuracy of 75.5% for token level language identification. The strict F-measure scores for the identification of token level language labels for Bengali, English and Hindi are 0.7486, 0.892 and 0.7972 respectively. The overall weighted F-measure of our system was 0.7498.

研究の動機と目的

• ローマ字表記のマルチリンガルクエリにおいて、特にインドの情報検索で一般的なミックススクリプト環境下で、個々の語の言語を特定する課題に対処すること。
• 文脈特徴と辞書ベースの言語検出を組み合わせたシーケンスラベルリングフレームワークを用いて、言語識別正確性を向上させること。
• 強化されたクエリ理解を実現するため、固有表現および特殊記号の認識をラベル付けパイプラインの一部として支援すること。
• 英語に加え、8つのインド諸言語からの変換語を含む1つのクエリ内で一貫して動作する堅牢なシステムを開発すること。
• FIRE 2015におけるミックススクリプト情報検索共有タスクに、高精度で文脈に配慮したラベル付けソリューションを提供すること。

提案手法

• 条件付きランダムフィールド（CRF）モデルを用いて、文脈的および語彙的特徴に基づき、クエリ語のシーケンスラベリングを実行し、言語タグを付与する。
• 英語および8つのインド言語の既知の語形を活用して、各語の潜在的な言語割り当てを事前に特定する辞書ベースのアプローチを採用する。
• 隣接語のラベルやクエリ内での位置といった文脈特徴をCRFの特徴セットに組み込み、ラベル付け正確性を向上させる。
• 語彙的証拠と順序モデリングを統合することで、変換語やレア語における曖昧さを解消する。
• 固有表現および特殊記号は、全体のタギングパイプラインの一部として別個に特定・ラベル付けする。
• 特徴工学には、文字n-gram、語の形状、言語固有のパターンを含め、類似する外見の異なる言語の語を区別する能力を強化する。

実験結果

リサーチクエスチョン

• RQ1 ローマ字表記のマルチリンガルクエリにおける個々の語の言語を、CRFベースのシーケンスラベルリングモデルが効果的に特定できるか。
• RQ2 文脈特徴と辞書ベースの言語ヒントを組み込むことで、トークンレベルの言語識別正確性はどの程度向上するか。
• RQ3 ヒンディ語、ベンガル語、および他のインド諸言語のような近縁言語の変換形を区別する性能はいかほどか。
• RQ4 固有表現および特殊記号認識の統合が、全体のラベル付けパイプラインにどの程度寄与するか。
• RQ5 ミックススクリプトクエリの文脈において、リソースが乏しいまたは稀な語に対して、このシステムはどの程度の性能を示すか。

主な発見

• 本システムは、FIRE 2015共有タスクデータセットにおいて、全体として75.5%のトークンレベル言語識別正確性を達成した。
• ベンガル語の厳密Fスコアは0.7486、英語は0.892、ヒンディ語は0.7972であり、リソースが豊富な言語において優れた性能を示した。
• 全言語にわたる重み付きFスコアは0.7498であり、多様な言語タイプにわたるバランスの取れた性能を示した。
• 文脈特徴と辞書ベースの照合の統合により、ベースラインモデルに比べてラベル付け正確性が顕著に向上した。
• 8つのインド諸言語からの変換語、包括してリソースが乏しいバージョンでさえも、一貫した性能を示した。
• 固有表現および特殊記号の検出が、ラベル付けパイプラインに成功裏に統合され、フレームワーク全体の堅牢性に寄与した。