[論文レビュー] YEDDA: A Lightweight Collaborative Text Span Annotation Tool

Jie Yang, Yue Zhang+2 more|arXiv (Cornell University)|Nov 10, 2017

Natural Language Processing Techniques参考文献 11被引用数 13

ひとこと要約

Yeddaは、キーボードショートカット、コマンドライン統合、リアルタイムのシステム推奨機能を通じてアノテーション効率を向上させる、軽量でオープンソースの共同テキストスパンアノテーションツールです。既存のツールと比較してアノテーション時間を50%短縮し、インテリジェントな推奨機能を活用することでさらに16.47%の改善が得られ、アノテーターの出力の品質評価や対比較を可能にする管理者用ツールキットを備えています。

ABSTRACT

In this paper, we introduce extsc{Yedda}, a lightweight but efficient and comprehensive open-source tool for text span annotation. extsc{Yedda} provides a systematic solution for text span annotation, ranging from collaborative user annotation to administrator evaluation and analysis. It overcomes the low efficiency of traditional text annotation tools by annotating entities through both command line and shortcut keys, which are configurable with custom labels. extsc{Yedda} also gives intelligent recommendations by learning the up-to-date annotated text. An administrator client is developed to evaluate annotation quality of multiple annotators and generate detailed comparison report for each annotator pair. Experiments show that the proposed system can reduce the annotation time by half compared with existing annotation tools. And the annotation time can be further compressed by 16.47\% through intelligent recommendation.

研究の動機と目的

• 既存のテキストアノテーションツールにおける非効率さと、アノテーション後の分析の欠如を解消すること。
• 大規模なNLPデータ収集におけるアノテーション時間の短縮と一貫性の向上。
• 共同アノテーションと複数アノテーター間での詳細な品質評価を両立できるシステムの提供。
• 学習されたアノテーションパターンに基づいてリアルタイムでラベルを推奨するシステム推奨機能を統合し、重複作業を最小限に抑えること。
• 最小限のシステム設定で利用可能な、軽量でプラットフォームに依存しないソリューションの提供。

提案手法

• Yeddaは、迅速なラベル割り当てとスパン編集を可能にするカスタマイズ可能なキーボードショートカットを備えたGUIベースのアノテーターインターフェースを採用している。
• コマンドラインによるバッチアノテーションをサポートし、過去のアノテーションから学習するシステム推奨エンジンと統合されている。
• 管理者ツールキットには、全アノテーター間ペアに対してフルスコアおよび境界レベルでのF1スコアを計算するMulti-Annotator Analysis (MAA)モジュールが含まれる。
• Pairwise Annotators Comparison (PAC)ツールは、2つのアノテート済みファイル間の一致と不一致を明確に示す、色分けされた詳細レポートを生成する。
• アノテート済みデータは、BIOおよびBIOESラベル形式をサポートする標準的な .anns 形式でエクスポートされる。
• アクティブラーニングのため、教師あり系列ラベル付けモデル（例：CRF）が使用され、信頼度が低い、曖昧な文を優先してアノテーション対象とする。

実験結果

リサーチクエスチョン

• RQ1 大規模なNLPデータ収集におけるテキストスパンアノテーションをどのようにして効率化できるか？
• RQ2 インテリジェントな推奨機能は、アノテーション時間の短縮と一貫性の向上にどの程度寄与するか？
• RQ3 複数のアノテーターに対して、どのようにしてアノテーション後の品質分析を体系的に行えるか？
• RQ4 軽量でクロスプラットフォーム対応のアノテーションツールは、既存のツールに比べて使いやすさとパフォーマンスの両面で優れていると言えるか？
• RQ5 リアルタイムのシステム推奨機能は、アノテーター間の不一致と作業負荷をどの程度低減するか？

主な発見

• 100文のCoNLL-2003データを用いた制御実験で、Yeddaは既存ツールと比較して平均アノテーション時間を50%短縮した。
• インテリジェントな推奨機能を有効にした場合、100文の平均アノテーション時間はさらに16.47%短縮された。
• テストした全ツールにおいて、高いアノテーター間一貫性（F1スコア～96.1%）を達成しており、ラベル付けの品質が一貫していることが示された。
• Multi-Annotator Analysis (MAA)ツールキットは、全アノテーター間ペアに対してフルスコアおよび境界レベルでのF1スコアを効果的に計算でき、品質監視の体系的実行を可能にした。
• Pairwise Annotators Comparison (PAC)ツールは、アノテーター出力間の一致と不一致を明確に可視化する、色分けされた詳細レポートを生成した。
• システムは軽量（80KB）で、プラットフォームに依存せず、複雑な設定が不要なため、新規ユーザーにとってもアクセスしやすい。