[論文レビュー] Implications of Inter-Rater Agreement on a Student Information Retrieval Evaluation

Philipp Schaer, Philipp Mayr+1 more|arXiv (Cornell University)|Oct 9, 2010

Information Retrieval and Search Behavior参考文献 9被引用数 6

ひとこと要約

本研究では、73名の情報科学専攻学生による関連性判断を用いて、キーワード共起分析によるクエリ拡張、ブラッドフォード化による再順序付け、著者中心性による文書スコアリングの3つのメタデータ駆動型情報検索サービスを評価した。重み付き kappa 係数が約 0.4～0.6 の中程度の評価者間一致度であったが、一致度の閾値に基づくデータクリーニングにより、3つのシステムが重複のないが関連性の高い結果集合を検索したことが明らかになった。これは、学生を対象としたIR評価において評価者間信頼性の重要性を示している。

ABSTRACT

This paper is about an information retrieval evaluation on three different retrieval-supporting services. All three services were designed to compensate typical problems that arise in metadata-driven Digital Libraries, which are not adequately handled by a simple tf-idf based retrieval. The services are: (1) a co-word analysis based query expansion mechanism and re-ranking via (2) Bradfordizing and (3) author centrality. The services are evaluated with relevance assessments conducted by 73 information science students. Since the students are neither information professionals nor domain experts the question of inter-rater agreement is taken into consideration. Two important implications emerge: (1) the inter-rater agreement rates were mainly fair to moderate and (2) after a data-cleaning step which erased the assessments with poor agreement rates the evaluation data shows that the three retrieval services returned disjoint but still relevant result sets.

研究の動機と目的

• 非専門家学生による関連性評価における評価者間一致度の影響を評価すること。
• tf-idfの限界を克服することを目的とした3つのメタデータ駆動型検索サービスを評価すること。
• 異なる検索メカニズムを持つシステムが、非専門家学生によって評価された場合に、重複のないが関連性のある文書集合を検索するかどうかを検討すること。
• 低一致度の関連性評価を除外することで、全体の評価結果に与える影響を特定すること。

提案手法

• 事前トレーニングなしで、73名の情報科学専攻学生を被験者として関連性評価を実施した。
• 3つの検索サービスを適用した：キーワード共起分析によるクエリ拡張、ブラッドフォード化による再順序付け、著者中心性による文書スコアリング。
• 評価者間一致度を測るためにFleissのkappa係数を計算した。
• データ品質を向上させるために、一致度が低い（kappa < 0.4）関連性評価を除外することでデータクリーニングを実施した。
• 3つのシステムの結果として得られた検索結果集合の重複度と関連性を比較した。

実験結果

リサーチクエスチョン

• RQ1 非専門家学生が情報検索評価において行う関連性判断はどの程度一貫性があるか？
• RQ2 評価者間一致度がIR評価結果の妥当性に与える影響は何か？
• RQ3 3つの検索サービスは重複するか、それとも異なる文書集合を返すか？
• RQ4 低一致度の関連性評価を除外することで、評価結果にどのような影響が生じるか？

主な発見

• 73名の学生被験者間の評価者間一致度は中程度からやや良好であり、Fleissのkappa係数は約 0.4 から 0.6 の範囲にあった。
• 一致度が低い評価（kappa < 0.4）を除外した後、残ったデータから3つの検索サービスがほとんど重複のない結果集合を検索したことが明らかになった。
• 低一致度であったが、クリーニング後のデータから、3つのシステムとも関連性のある文書を返していることが判明し、それぞれが補完的な強みを有していることが示唆された。
• 結果として、適切なデータクリーニング手順が適用されていれば、低評価者間一致度であっても評価結果が必ずしも無効になるわけではないことが示された。