[論文レビュー] WASA: A Web Application for Sequence Annotation

Fahad AlGhamdi, Mona Diab|arXiv (Cornell University)|Jan 1, 2018

Natural Language Processing Techniques参考文献 10被引用数 1

ひとこと要約

WASAは、大規模な多言語コードスイッチングデータを対象としたスケーラブルでウェブベースのアノテーションシステムであり、共有可能なアノテーションを可能にするとともに、URLや標点、絵文字などの一般的なトークンタイプの自動タグ付けとSPLIT前処理ツールとの統合を実現している。これにより、1ツイートあたりの平均アノテーション時間が40秒から27秒に短縮され、アノテーター間的一致度（IAA）は92–97％を達成し、自然言語処理コーパス作成における効率性と品質が顕著に向上した。

ABSTRACT

Data annotation is an important and necessary task for all NLP applications. Designing and implementing a web-based application that enables many annotators to annotate and enter their input into one central database is not a trivial task. These kinds of web-based applications require a consistent and robust backup for the underlying database and support to enhance the efficiency and speed of the annotation. Also, they need to ensure that the annotations are stored with a minimal amount of redundancy in order to take advantage of the available resources(e.g, storage space). In this paper, we introduce WASA, a web-based annotation system for managing large-scale multilingual Code Switching (CS) data annotation. Although WASA has the ability to perform the annotation for any token sequence with arbitrary tag sets, we will focus on how WASA is used for CS annotation. The system supports concurrent annotation, handles multiple encodings, allows for several levels of management control, and enables quality control measures while seamlessly reporting annotation statistics from various perspectives and at different levels of granularity. Moreover, the system is integrated with a robust language specific date prepossessing tool to enhance the speed and efficiency of the annotation. We describe the annotation and the administration interfaces as well as the backend engine.

研究の動機と目的

• 自然言語処理分野における大規模で多言語的・マルチジャンル的なコードスイッチングアノテーションコーパスの不足に対処すること。
• 高い効率性と低減の重複を実現する多言語的・マルチジャンルのデータに対するアノテーションプロセスを簡素化すること。
• 役割ベースのアクセス制御と集中管理を備えた複数チームによる同時アノテーションを支援すること。
• 一般的なトークンタイプ（例：URL、標点）の自動タグ付けにより、アノテーションの速度と品質を向上させること。
• 言語固有の前処理ツール（SPLIT）との統合により、データ準備の質を向上させ、人的作業を削減すること。

提案手法

• WASAは、メタデータおよびファイルストレージにPostgreSQLデータベースを用いた3層アーキテクチャを採用し、ビジネスロジックにはPHPスクリプト、ユーザーインターフェースにはウェブインターフェースを提供する。
• システムは、アノテーター、リーダーアノテーター、スーパーインストラクターといった複数のユーザーロールをサポートし、細かな権限とタスク割り当て制御を実現する。
• URL、標点、数字、絵文字、会話効果などの事前に定義されたトークンタイプの自動タグ付けにより、アノテーションの高速化を図る。
• アノテーションの前処理としてSPLIT前処理ツールを統合し、アノテーション前の生テキストをクリーニングおよび正規化することで、データ品質と一貫性を向上させる。
• アノテーション出力は、タスクID、ユーザーログインID、語のID、タグなどのメタデータを含むカスタマイズ可能なXMLフォーマットで出力される。
• アノテーター間一致度（IAA）は、複数のアノテーターが重複する単位を用いて自動的に計算され、複数の粒度で統計が報告される。

実験結果

リサーチクエスチョン

• RQ1 ウェブベースのアノテーションシステムは、最小限の重複を伴いながら、同時に大規模で多言語的コードスイッチングアノテーションを効率的に管理できるか？
• RQ2 一般的なトークンタイプ（例：URL、標点）の自動タグ付けは、アノテーション時間の短縮と一貫性の向上にどの程度寄与するか？
• RQ3 言語固有の前処理ツール（SPLIT）との統合により、データ品質の向上とアノテーションワークフローの簡素化が可能か？
• RQ4 WASAの品質管理メカニズムを用いた多言語的コードスイッチングアノテーションにおいて、どの程度のアノテーター間一致度が達成できるか？
• RQ5 WASAは、多様なデータジャンルにわたるアノテーター・チームの柔軟な管理、タスク割り当て、進捗状況の監視をどの程度サポートできるか？

主な発見

• SPLITツールを用いて初期タグを自動割り当てした場合、1ツイートあたりの平均アノテーション時間が40秒から27秒に短縮され、速度向上は32.5％に達した。
• アラビア語のコードスイッチングデータにおけるアノテーター間一致度（IAA）は92％から97％の間で推移し、高い一貫性が確認された。
• 役割ベースのアクセス制御とタスク割り当てを備えたシステムは、複数のアノテーター・チームによる同時アノテーションを成功裏に管理し、Twitter、フォーラム、会話文など多様なデータジャンルをカバーした。
• カスタマイズ可能なXML出力フォーマットにより、タスクID、ユーザーログインID、語のID、アノテーションタグなどのメタデータレポートが柔軟に可能となり、下流のNLPアプリケーションを支援した。
• SPLIT前処理ツールとの統合により、手作業によるデータクリーニング作業が顕著に削減され、一般的なトークンタイプの事前アノテーションタグ付けの信頼性が向上した。
• システムは、複数のエンコーディング、多言語データ、複雑なアノテーションタスクを、ストレージの重複を最小限に抑えて効果的に処理できることを示した。