[論文レビュー] Arabizi Detection and Conversion to Arabic

Kareem Darwish|arXiv (Cornell University)|Jun 28, 2013

Natural Language Processing Techniques参考文献 16被引用数 6

ひとこと要約

本稿では、条件付きランダムフィールド（CRF）を用いた系列ラベリング手法を提示し、英語・アラビザイ混在テキスト内におけるアラビザイ（ラテン文字で書かれたアラビア語）を検出する。語のレベルおよび系列のレベルの特徴を用いることで、98.5％の検出精度を達成した。変換に関しては、表記の類似性に基づく表記法のマイニングと大規模なアラビア語言語モデルを組み合わせ、正しくアラビア文字に変換する精度が88.7％に達した。主な誤り原因は、正解形の綴りや活用形のバリエーションに起因する。

ABSTRACT

Arabizi is Arabic text that is written using Latin characters. Arabizi is used to present both Modern Standard Arabic (MSA) or Arabic dialects. It is commonly used in informal settings such as social networking sites and is often with mixed with English. In this paper we address the problems of: identifying Arabizi in text and converting it to Arabic characters. We used word and sequence-level features to identify Arabizi that is mixed with English. We achieved an identification accuracy of 98.5%. As for conversion, we used transliteration mining with language modeling to generate equivalent Arabic text. We achieved 88.7% conversion accuracy, with roughly a third of errors being spelling and morphological variants of the forms in ground truth.

研究の動機と目的

• コードスイッチィングが一般的な非公式なSNS文脈において、英語・アラビザイ混在テキスト内でのアラビザイ検出という課題に対処すること。
• 標準化されていない表記やアラビア語の方言を含む文脈においても、アラビアザイを適切なアラビア文字に変換する強固な手法を開発すること。
• アラビザイにおける表記の標準化の欠如や方言の多様性を、言語モデルと表記法マイニングを活用することで克服すること。
• 後続のNLP処理を可能にし、非公式なアラビア語テキストの可読性および検索可能性を向上させるシステムを構築すること。

提案手法

• アラビザイの文脈内検出に、語のレベルおよび系列のレベルの特徴を用いた条件付きランダムフィールド（CRF）による系列ラベリングを採用した。
• 特に曖昧なケースにおいて、英語語とアラビザイ語を区別するため、文字n-gramおよびサブワード特徴を統合した。
• 音声的および綴りの類似性に基づき、各アラビザイ語の語に対してアラビア語相当語の候補を表記法マイニングで生成した。
• 文字レベルの表記法確率と3-gram言語モデルを組み合わせ、文脈的に最も適切なアラビア語訳をランク付け・選択した。
• 1,385語のアラビザイ語を含む127件のツイートから構成されるデータセットを用い、文脈外および文脈内評価戦略の両方でモデルを訓練・評価した。
• 候補ランク付けの評価には平均逆順位（MRR）を用い、文脈内での正しく表記された翻訳の正答率を報告した。

実験結果

リサーチクエスチョン

• RQ1 語の境界や言語の切り替えが曖昧な英語・アラビザイ混在テキストにおいて、系列ラベリングモデルがアラビザイを効果的に検出できるか？
• RQ2 方言の表記や表記法のバリエーションが標準化されていない状況下で、アラビザイをアラビア文字に変換する精度はどの程度達成可能か？
• RQ3 単独語のマッピングに比べ、文脈を考慮した言語モデルを組み込むことで、表記法選択の精度はどの程度向上するか？
• RQ4 アラビザイからアラビア文字への変換誤りのうち、どの程度が綴りのバリエーション、活用形の違い、または誤った言語識別に起因するか？
• RQ5 表記法マイニングと言語モデルを組み合わせたアプローチが、語彙ベースやルールベースのアプローチに比べ、アラビザイの活用的および音声的複雑さに対処する上で優れているか？

主な発見

• CRFを用いた検出モデルは、実世界のSNSデータにおいて、混合言語テキスト内でのアラビザイ検出に98.5％の精度を達成し、優れた性能を示した。
• 文脈外評価では、平均逆順位（MRR）が0.84に達し、正解のアラビア語表記が77.1％のケースで上位1位にランク付けされた。
• 文脈内評価では、3-gram言語モデルを統合することで、表記法変換精度が88.7％に向上し、誤り数は1,385語中157語から157語に減少した。
• 157語の誤検出のうち、91語が関連のない語であり、46語が正解形の綴りや活用形のバリエーションであった。これは、方言の変異を扱う分野でのさらなる改善の余地があることを示唆している。
• 68語（テストデータの4.9％）について、システムは候補を生成できなかった。主な原因は、綴りのバリエーション、活用形の不一致、または学習データに存在しないレア・レアな形態であった。
• 著者らは、アラビザイ処理およびアラビア語NLP分野における今後の研究を支援するため、学習データおよびテストデータを公開する予定である。