[論文レビュー] Inter-rater Agreement on Sentence Formality

Shibamouli Lahiri, Xiaofei Lu|arXiv (Cornell University)|Sep 1, 2011

Natural Language Processing Techniques参考文献 11被引用数 5

ひとこと要約

本研究では、文のフォーマルさについて1〜5段階のリッカート尺度を用いた評価者間整合性を評価し、二値分類より著しく高い信頼性を示した。異なるテキストジャンル（ブログ、フォーラム、ニュース、論文）におけるフォーマルさの分布の差異が特定され、評価者のバイアスも明らかにされた。また、自動文レベルのフォーマルさスコアリングシステムの学習および評価に用いることのできる検証済みのヒューマンアノテート文のシードセットを提供した。

ABSTRACT

Formality is one of the most important dimensions of writing style variation. In this study we conducted an inter-rater reliability experiment for assessing sentence formality on a five-point Likert scale, and obtained good agreement results as well as different rating distributions for different sentence categories. We also performed a difficulty analysis to identify the bottlenecks of our rating procedure. Our main objective is to design an automatic scoring mechanism for sentence-level formality, and this study is important for that purpose.

研究の動機と目的

• 1〜5段階のリッカート尺度を用いた文レベルのフォーマルさアノテーションにおける評価者間信頼性を評価すること。
• グレーディングスケールが二値（フォーマル／インフォーマル）アノテーションに比べ、整合性を向上させるかを調査すること。
• 整合性が低下する要因となる文のタイプを同定し、評価者の一貫性に与える影響を特定すること。
• 自動フォーマルさスコアリングシステムの学習および評価に用いることのできる、ヒューマンアノテート文のシードセットを生成すること。
• ブログ、フォーラム、ニュース、学術論文のテキストにおけるジャンルごとのフォーマルさスコア分布の差異を分析すること。

提案手法

• フォーマルさに1〜5段階のリッカート尺度を用いた：1（非常にインフォーマル）、2（インフォーマル）、3（中間）、4（フォーマル）、5（非常にフォーマル）、X（分からない）。
• 2段階のアノテーション研究を実施：最初に参加者が同席する100文のウォームアップフェーズを実施し、その後に独立して作業する500文の本格フェーズを実施した。
• フォーマルさの基準について事前の指示なしに、一貫性と独立性を重視するよう指導した、英語を母語とする女性の学部生2名を被験者とした。
• 評価者間整合性と分布の差異を評価するために、FleissのKappaおよび非パラメトリック検定（Kruskal-Wallis検定、U検定、Kolmogorov-Smirnov検定）を用いた。
• 難易度分析を実施し、評価者が「X」とマークした文、または評価者間のスコア差が≥2点の文を特定した。
• 500件のヒューマンアノテート文を収集・保存し、自動フォーマルさスコアリングシステムの評価に用いるためのシードセットを構築した。

実験結果

リサーチクエスチョン

• RQ1 文のフォーマルさに5段階のリッカート尺度を用いることで、二値分類（フォーマル／インフォーマル）に比べ、評価者間整合性が向上するか？
• RQ2 ブログ、フォーラム、ニュース、学術論文などのテキストジャンルごとに、フォーマルさスコアの分布に有意な差異が認められるか？
• RQ3 どのタイプの文が最も一貫性のない評価を引き起こし、評価者間の不一致を引き起こすか？
• RQ4 評価者が中央集中バイアスを示すか、あるいはスコア付け行動に体系的な差異を示すか？
• RQ5 フォーマルさスコアが付与されたヒューマンアノテート文のシードセットを、自動フォーマルさスコアリングシステムに用いることのできる信頼性ある形で生成できるか？

主な発見

• 評価者間整合性の全体的なFleissのKappaは0.586であり、これは中程度の一致を示し、統計的に有意であった（p < 0.005）。
• 評価者間整合性は、過去の二値アノテーション（例：κ_blog = 0.164）よりも顕著に高く、グレーディングスケールの有効性が裏付けられた。
• Rater 1は平均3.1で、Rater 2の平均2.85よりもよりフォーマルに評価しており、統計的に有意な差異が認められた（p < 0.05）。
• フォーマルさスコアの分布は、ジャンルごとに有意に異なる（p < 0.05）ことが判明し、論文が最もフォーマルに、次にニュース、ブログ、フォーラムの順であった。
• 難易度分析の結果、5％（25/500）の文がシステムメッセージ、不完全な文、または結合された文であるとして「X」とマークされた。また、40/500（8％）の文で評価者間のスコア差が≥2点であった。
• 本研究では、自動文レベルのフォーマルさスコアリングシステムの学習および評価に適した、信頼性のある500件のヒューマンアノテート文のシードセットを生成した。