[論文レビュー] Urdu Word Segmentation using Conditional Random Fields (CRFs)

Haris Bin Zia, Agha Ali Raza+1 more|arXiv (Cornell University)|Jun 14, 2018

Natural Language Processing Techniques参考文献 11被引用数 10

ひとこと要約

本稿では、綴り、文脈的、および語彙素的特徴を活用して、空白を用いた語区切りとゼロ幅非結合子（ZWNJ）を用いた語素区切りを検出する、条件付きランダムフィールド（CRF）ベースのウルドゥ語語区切りモデルを提案する。手動でアノテートされたコーパス上で、語区切り検出のF1スコアは0.97、語素区切り検出のF1スコアは0.85を達成しており、再現性を確保するためコードとデータを公開している。

ABSTRACT

State-of-the-art Natural Language Processing algorithms rely heavily on efficient word segmentation. Urdu is amongst languages for which word segmentation is a complex task as it exhibits space omission as well as space insertion issues. This is partly due to the Arabic script which although cursive in nature, consists of characters that have inherent joining and non-joining attributes regardless of word boundary. This paper presents a word segmentation system for Urdu which uses a Conditional Random Field sequence modeler with orthographic, linguistic and morphological features. Our proposed model automatically learns to predict white space as word boundary as well as Zero Width Non-Joiner (ZWNJ) as sub-word boundary. Using a manually annotated corpus, our model achieves F1 score of 0.97 for word boundary identification and 0.85 for sub-word boundary identification tasks. We have made our code and corpus publicly available to make our results reproducible.

研究の動機と目的

• 不規則な空白の使用とZWNJ文字の存在による、ウルドゥ語語区切りの課題に対処すること。
• 文脈的特徴から語区切りおよび語素区切りを自動で学習するシーケンスモデリング手法を開発すること。
• アラビア文字の結合規則に起因する複雑なスクリプト行動を示すウルドゥ語における区切り精度の向上。
• アノテート済みデータとソースコードを公開することで、再現可能なシステムを構築すること。

提案手法

• モデルは、ウルドゥ語テキストにおける語区切りおよび語素区切りを予測するため、条件付きランダムフィールド（CRF）シーケンスモデルを採用する。
• 文字レベルのパターンやZWNJの出現を含む綴り的特徴を統合する。
• 文法的および語彙素的特徴を統合して、構文的および語彙素的文脈を捉える。
• 教師あり学習により、空白を語区切り、ZWNJを語素区切りとして予測するようにCRFが学習する。
• 各文字の周囲のスライディングウインドウから特徴を抽出し、局所的文脈をモデル化する。
• システムは、手動でアノテートされたウルドゥ語コーパス上で訓練および評価される。

実験結果

リサーチクエスチョン

• RQ1 不規則な空白があるウルドゥ語において、CRFベースのモデルは語区切りを効果的に学習できるか？
• RQ2 ウルドゥ文字において、ゼロ幅非結合子（ZWNJ）で示される語素区切りをモデルは検出できるか？
• RQ3 綴り的、文法的、および語彙素的特徴は、区切り性能の向上にどのように寄与するか？
• RQ4 モデルは、さまざまなウルドゥ語テキストパターンや語彙素的構造にどの程度一般化できるか？

主な発見

• 語区切り検出において、F1スコアが0.97に達しており、語の区切りを高精度で検出できていることが示された。
• ZWNJを用いた語素区切り検出では、F1スコアが0.85に達しており、語彙素的区切りの処理が効果的に行われていることが示された。
• 文法的および語彙素的特徴の統合により、ベースラインモデルに比べて区切り精度が顕著に向上した。
• 文脈的特徴の学習のおかげで、多様なウルドゥ語テキストパターンに対してモデルの性能が安定している。
• 公開されたコードとアノテート済みコーパスのおかげで、結果の完全な再現性が可能になった。