[論文レビュー] MADARi: A Web Interface for Joint Arabic Morphological Annotation and Spelling Correction

Ossama Obeid, Salam Khalifa+4 more|arXiv (Cornell University)|Aug 25, 2018

Natural Language Processing Techniques参考文献 22被引用数 6

ひとこと要約

MADARi は、アラビア語の綴りの誤り訂正と語彙素的アノテーションを統合的に実行するウェブベースのアノテーションインターフェースであり、CODA形式への綴り正規化、トークン化、品詞タグ付け、語幹化、語義解説を統合している。リアルタイムでの語彙素的解析の提案とトークンベースの編集システムにより、作業効率を向上させ、誤りの伝搬を低減し、ユーザー評価ではトークン化で74%、品詞と語幹の提案で69–70%の精度を達成した。

ABSTRACT

In this paper, we introduce MADARi, a joint morphological annotation and spelling correction system for texts in Standard and Dialectal Arabic. The MADARi framework provides intuitive interfaces for annotating text and managing the annotation process of a large number of sizable documents. Morphological annotation includes indicating, for a word, in context, its baseword, clitics, part-of-speech, lemma, gloss, and dialect identification. MADARi has a suite of utilities to help with annotator productivity. For example, annotators are provided with pre-computed analyses to assist them in their task and reduce the amount of work needed to complete it. MADARi also allows annotators to query a morphological analyzer for a list of possible analyses in multiple dialects or look up previously submitted analyses. The MADARi management interface enables a lead annotator to easily manage and organize the whole annotation process remotely and concurrently. We describe the motivation, design and implementation of this interface; and we present details from a user study working with this system.

研究の動機と目的

• 表記が不規則で、ノイズが多い表記法と語彙素的複雑性を示す方言的アラビア語テキストのアノテーションの課題に対処すること。
• 一連の処理ステージ間での誤りの伝搬を低減するために、綴りの誤り訂正と語彙素的アノテーションを1つのワークフローに統合すること。
• 複数のアノテーターと品質監視を備えた大規模なアラビア語コーパスに対して、効率的でスケーラブルなアノテーションを支援すること。
• 共同作業を可能にするリアルタイムフィードバックと管理ツールを備えた、使いやすいウェブベースのインターフェースを提供すること。
• 語彙素的解析とCODA形式への綴り正規化を組み合わせることで、カイフ・アラビア語の正確で一貫性のあるアノテーションを可能にすること。

提案手法

• QAWI や MANDIAC をインspired したトークンベースの編集インターフェースを採用し、分割、結合、置換といった正確で原子的なテキスト修正が可能である。
• MADAMIRA の語彙素的アナライザーを活用して、各トークンについて事前に計算された品詞タグ、語幹、語義解説、語彙素的特徴を提案する。
• リアルタイムの解析検索をサポートし、アノテーターが代替解析を検索し、複数の選択肢から選べる。
• ハイブリッドデータストレージシステムにより、バックエンドの変更なしにアノテーション機能を柔軟に拡張可能である。
• 管理インターフェースには、ユーザーおよびドキュメント管理、アノテーター間一貫性（IAA）評価、アノテート済みデータのエクスポートのためのツールが含まれる。
• 綴りの誤り訂正は、ノイズが多い方言表記を、系統的なトークンレベルの編集によって標準化された CODA 形式に変換することで実行される。

実験結果

リサーチクエスチョン

• RQ1 1つのアノテーションインターフェースが、アラビア語の方言に対して綴りの誤り訂正と語彙素的アノテーションを効果的に統合できるか。
• RQ2 連続処理と比較して、統合的アノテーションが誤りの伝搬をどの程度低減できるか。
• RQ3 リアルタイムの解析提案が、アノテーションの速度と正確性に与える影響は何か。
• RQ4 トークンベースの編集モデルは、カイフ・アラビア語における複雑な語彙素的および表記的変化をどの程度効果的に処理できるか。
• RQ5 ウェブベースのシステムは、IAA監視による信頼性の高い品質管理を伴い、スケーラブルかつ共同アノテーションを可能にするか。

主な発見

• アノテーターは、綴りの誤り訂正とCODA形式への正規化を約52分で完了し、1時間あたり1,563語の速度を達成した。
• 1,355個の元のトークンのうち、288個（21%）が綴りの誤り訂正中に変更され、主に綴りの修正と語の分割（44件、変更全体の15%）が行われた。
• トークン化、品詞タグ付け、語幹化、語義解説を含む語彙素的アノテーションの全工程は約6時間で完了し、1時間あたり277語の速度となった。
• トークン化では正しく提案された割合が74%、基本語の品詞タグでは69%、語幹では70%であり、手作業の負荷を顕著に低減した。
• アノテーターは、同じ種類の複数のトークンを一度にアノテートできる機能とリアルタイムの解析検索機能の有用性を高く評価した。
• 修正可能な誤りをアノテーション後も容易に修正可能であるように、1つのワークフローに訂正とアノテーションを統合することで、誤りの伝搬を効果的に最小限に抑えた。