[論文レビュー] Bias and Agreement in Syntactic Annotations.

Yevgeni Berzak, Yan Huang+3 more|arXiv (Cornell University)|May 15, 2016

Natural Language Processing Techniques参考文献 24被引用数 3

ひとこと要約

本稿は、人間の句構造アノテーションにおけるアンカーリングバイアスを調査し、編集者がパーサー出力の修正を行う際、パーサー性能を過大評価し、アノテーション品質を低下させることを示している。Penn Treebank WSJデータを用いて、最先端のパーサーと同等の水準の、制御されたインターアノテーター整合性の推定を初めて行った。これは、アノテーション設計およびパーサー評価に重要な意味を持つ。

ABSTRACT

We present a study on two key characteristics of human syntactic annotations: anchoring and agreement. Anchoring is a well known cognitive bias in human decision making, where judgments are drawn towards pre-existing values. We study the influence of anchoring on a standard approach to creation of syntactic resources where syntactic annotations are obtained via human editing of tagger and parser output. Our experiments demonstrate a clear anchoring effect and reveal unwanted consequences, including overestimation of parsing performance and lower quality of annotations in comparison with human-based annotations. Using sentences from the Penn Treebank WSJ, we also report the first systematically obtained inter-annotator agreement estimates for English syntactic parsing. Our agreement results control for anchoring bias, and are consequential in that they are \emph{on par} with state of the art parsing performance for English. We discuss the impact of our findings on strategies for future annotation efforts and parser evaluations.

研究の動機と目的

• パーサー出力の編集を行う際、アンカーリングバイアスが人間の構文アノテーションに与える影響を調査すること。
• アンカーリングがアノテーション品質およびパーサー性能の認識に与える影響を定量化すること。
• 英語構文解析における、最初の体系的で制御されたインターアノテーター整合性の推定を提供すること。
• アンカーリングおよび整合性の影響が、今後のアノテーション戦略およびパーサー評価に与える意味を評価すること。

提案手法

• Penn Treebank WSJコーパスのパーサー生成構文構造を人間アノテーターが編集する実験を実施した。
• 初期パーサー出力との比較を通じて、アンカーリング効果を分離・測定するため、制御されたアノテーション手順を適用した。
• 実験設計によりアンカーリングバイアスを考慮しつつ、インターアノテーター整合性スコアを収集した。
• 統計的分析を用いて、人間ベースのゴールドスタンダードアノテーションと比較して、アノテーション品質および性能評価を評価した。
• 信頼性を確保するため、バイアス制御条件下でのインターアノテーター整合性メトリクスを報告した。
• 研究結果の文脈化のため、状態の最良パーサー性能と比較して、整合性水準を評価した。

実験結果

リサーチクエスチョン

• RQ1 パーサー出力の編集を行う際、アンカーリングバイアスが人間の構文アノテーションにどの程度影響を及ぼすか？
• RQ2 アンカーリングは、アノテーションタスクにおける認識されたパーサー性能と実際のパーサー性能にどのように影響を及ぼすか？
• RQ3 アンカーリングバイアスが制御された状態で、構文解析における真のインターアノテーター整合性の水準はどの程度か？
• RQ4 バイアス制御された整合性推定値は、英語における最先端のパーサー性能とどのように比較されるか？
• RQ5 アンカーリングおよび整合性の影響が、今後のアノテーションおよび評価実践にどのような意味を持つか？

主な発見

• アンカーリングバイアスは構文アノテーションに顕著に影響を及ぼし、パーサー性能を過大評価する原因となっている。
• パーサー出力を編集して得られるアノテーションは、ゴールドスタンダードの人的アノテーションよりも品質が低い。
• アンカーリングを制御した状態でのインターアノテーター整合性は、最先端のパーサーモデルと同等の水準に達している。
• バイアス制御された整合性推定値は、パーサーシステムの評価に信頼できるベンチマークを提供する。
• アンカーリング効果は、アノテーションの品質および認識された正確性を歪めている。
• 研究結果は、バイアスを軽減するための、見直されたアノテーション手法および評価プロトコルの必要性を浮き彫りにしている。