[論文レビュー] Statistical modality tagging from rule-based annotations and crowdsourcing

Vinodkumar Prabhakaran, Michael Bloodgood+6 more|arXiv (Cornell University)|Mar 4, 2015

Natural Language Processing Techniques参考文献 20被引用数 25

ひとこと要約

本論文では、高再現率の文の収集のためのルールベースのモダリティ検出器と、Mechanical Turkを用いたクラウドソーシングによるアノテーションを組み合わせることで、高精度なモダリティタッガーを訓練するハイブリッド手法を提示する。得られたデータセットは、アノテータ間整合性スコアを含んでおり、それを用いてマルチクラスSVMモデルを学習した。その結果、ドメイン内データではF1スコア88.2%、ドメイン外データでは82.3%を達成し、適切に重み付けされた低整合性だが高ボリュームのアノテーションを活用することで、有効性が示された。

ABSTRACT

We explore training an automatic modality tagger. Modality is the attitude that a speaker might have toward an event or state. One of the main hurdles for training a linguistic tagger is gathering training data. This is particularly problematic for training a tagger for modality because modality triggers are sparse for the overwhelming majority of sentences. We investigate an approach to automatically training a modality tagger where we first gathered sentences based on a high-recall simple rule-based modality tagger and then provided these sentences to Mechanical Turk annotators for further annotation. We used the resulting set of training data to train a precise modality tagger using a multi-class SVM that delivers good performance.

研究の動機と目的

• 自然言語におけるモダリティトリガーの希少性により、モダリティタギングのための高品質な学習データが不足している問題に対処すること。
• Mechanical Turkを用いて、多様で信頼性の高いモダリティアノテーションをスケーラブルかつコスト効率よく取得する方法を開発すること。
• アノテータ間整合性がモデル学習に与える影響を評価すること、特に低整合性アノテーションが一般化性能を向上させるかどうかを検証すること。
• ドメイン内およびドメイン外のテストセットの両方で高い精度とF1スコアを達成するマルチクラスSVM分類器を訓練すること。
• アノテータの整合性レベルに基づいてアノテーションのコストを差し引き、モデルの耐性を向上させられるかどうかを調査すること。

提案手法

• 大規模なテキストコーパスから、潜在的なモダリティトリガーを含む候補文を抽出するために、高再現率のルールベースのモダリティタッカーを用いた。
• 抽出された文は、Mechanical Turkに送られ、各文は3人のアノテータによって5つのモダリティ（能力、努力、意図、成功、欲求）のいずれかにラベル付けされた。
• アノテータ間整合性は、信頼度信号として保持され、アノテーションは2名の一致（Agr2）または全員一致（Agr3）としてラベル付けされた。
• 構文的・意味的・語彙的特徴を含む特徴セットを用いてマルチクラスSVM分類器を学習し、Agr2とAgr3の例にそれぞれ別々のコスト値を割り当てて信頼度レベルを反映させた。
• 4つの学習設定を評価した：Tr23（すべてのアノテーションに等価な重み）、Tr2（Agr2のみ）、Tr3（Agr3のみ）、Tr23_W（Agr2に20、Agr3に30の重み付きコスト）。
• 実験では、MTurkデータに対して4分割交差検証を実施し、ゴールドスタンダードの専門家アノテートテストセットを用いて評価した。

実験結果

リサーチクエスチョン

• RQ1 ルールベースのモダリティタッカーは、後続の統計的モダリティタッカーのための高再現率の学習セットをブートストラップするのに効果的に利用できるか？
• RQ2 2名のアノテータが一致した（3名中2名）ような低アノテータ間整合性のアノテーションを含めることで、全員一致のアノテーションのみを使用する場合と比較してモデル性能が向上するか？
• RQ3 アノテータの整合性レベルに基づいて学習インスタンスのコストを差し引くことで、異なるテキストジャンルにわたる一般化性能が向上するか？
• RQ4 訓練されたモダリティタッカーの性能は、ドメイン内とドメイン外のテストセットの間でどのように異なるか？
• RQ5 高ボリュームで低整合性のアノテーションを含めることで得られる利益が、少数で高整合性の例を含める利点を上回る程度はどの程度か？

主な発見

• Tr23設定（Agr2とAgr3の両方のアノテーションに等価な重み）は、ドメイン内テストデータでF1スコア88.2%、ドメイン外データで82.3%を達成し、強力な一般化性能を示した。
• Tr23_W設定（Agr3例に30、Agr2例に20の高いコストを割り当てた）は、Tr23と比較してゴールドスタンダードテストセットでF1スコアを2.1ポイント向上させ、ドメイン間での性能向上が示された。
• Tr3（全員一致のアノテーションのみで学習）は、Tr23（72.1%）よりも高い正確性（74.1%）を示したが、再現率は著しく低く（19.1% vs 29.5%）なった。これは、単に品質が高いだけでは十分ではなく、十分な学習データ量が必要であることを示している。
• Agr2アノテーション（674件）を含めることで、Tr3（334件）と比較して再現率が著しく向上した。これは、適切に重み付けされた場合、データ量の多さが整合性の低さを補う可能性があることを示唆している。
• 信頼度に基づくコスト重み付けを施したMTurkデータ全件を用いて学習したモデル（Tr23_W）は、ゴールドスタンダード評価において他のすべての設定を上回るF1スコアを達成し、信頼度を考慮した学習がモデルの耐性を高めることを示した。
• 結果から、ジャンル特化型のデータには stricter フィルタリングが有効であるのに対し、広域のアプリケーションでは、適切に重み付けされた多様で、場合によっては低整合性のアノテーションを含めることで、より良い性能が得られると示唆された。