[論文レビュー] Users and Assessors in the Context of INEX: Are Relevance Dimensions Relevant?

Jovan Pehcevski, James A. Thom+1 more|arXiv (Cornell University)|Jul 28, 2005

Information Retrieval and Search Behavior参考文献 17被引用数 12

ひとこと要約

本論文は、INEX XML検索評価で用いられる関連性次元の妥当性を調査し、包括性（Exhaustivity）と特異性（Specificity）が直交していないこと、ユーザーによっては単一の次元として認識されていることを明らかにした。著者らは、評価者とユーザーの間の実証的合意に基づき、非関連、ちょうどよい、広め、狭めの4段階の簡略化された関連性スケールを提案する。このスケールの両端で最も高い一貫性が得られたことから、XML検索におけるより直感的で効果的な評価フレームワークの可能性が示された。

ABSTRACT

The main aspects of XML retrieval are identified by analysing and comparing the following two behaviours: the behaviour of the assessor when judging the relevance of returned document components; and the behaviour of users when interacting with components of XML documents. We argue that the two INEX relevance dimensions, Exhaustivity and Specificity, are not orthogonal dimensions; indeed, an empirical analysis of each dimension reveals that the grades of the two dimensions are correlated to each other. By analysing the level of agreement between the assessor and the users, we aim at identifying the best units of retrieval. The results of our analysis show that the highest level of agreement is on highly relevant and on non-relevant document components, suggesting that only the end points of the INEX 10-point relevance scale are perceived in the same way by both the assessor and the users. We propose a new definition of relevance for XML retrieval and argue that its corresponding relevance scale would be a better choice for INEX.

研究の動機と目的

• 評価者とユーザーがXML検索における関連性、特にINEXの関連性次元（包括性と特異性）をどのように認識しているかを分析すること。
• INEXで用いられる10段階の関連性スケールが、ユーザーおよび評価者の認識を的確に反映しているかどうかを調査すること。
• 評価者とユーザーが関連性スケールのどの点で最も一致しているかを特定すること。
• ユーザーおよび評価者の行動とより整合性のとれる、簡略化された新しい関連性定義とスケールを提案すること。
• 今後のINEX評価プロセス、特に自動評価ツールを含めた、新関連性定義の実用可能性を評価すること。

提案手法

• INEX 2004の関連性判断データを実証的に分析し、CO（コンテンツオンリー）トピックにおける評価者評価とユーザーフィードバックを比較した。
• INEXの2つの次元（包括性と特異性）をそれぞれ4段階で分類し、合算して10段階のスケールに統合した。
• 背景（Background）および比較（Comparison）の2つのトピックカテゴリにおけるユーザー行動を分析し、関連性認識の一貫性を評価した。
• 評価者とユーザーの間で最も合意が得られた点を特定し、10段階スケールの両端（非関連および非常に関連性が高い）に焦点を当てた。
• 実証的マッピングに基づき、非関連、ちょうどよい、広め、狭めの4段階の新しい関連性スケールを提案した。
• INEX 2005で提案された自動評価手法（要素強調、自動特異性計算など）との適合性を評価した。

実験結果

リサーチクエスチョン

• RQ1 INEXの2つの関連性次元（包括性と特異性）は、ユーザーおよび評価者によって独立して認識されているか？
• RQ2 評価者とユーザーは、INEXで用いられる10段階の関連性スケールについてどの程度合意しているか？
• RQ3 INEXの10段階関連性スケールにおいて、評価者とユーザーが最も一致するポイントはどこか？
• RQ4 簡略化された4段階の関連性スケールは、XML検索評価におけるユーザーおよび評価者の認識をよりよく反映できるか？
• RQ5 新関連性定義は、INEXで新たに提案された自動評価技術とどの程度整合性を示すか？

主な発見

• INEXの2つの関連性次元（包括性と特異性）は直交していない。ユーザーはこれらを強く相関する単一の次元として認識している。
• 評価者とユーザーの間で最も高い合意が得られたのは、10段階スケールの両端、すなわち非関連および非常に関連性が高い（ちょうどよい）の点である。
• 10段階スケールの中間点、特にE2S2、E2S1、E1S2、E1S1は一貫性がなく、合意が低く、使用性が低いことが示された。
• ユーザーは重複する情報や冗長な情報を許容せず、関連するコンponent同士の重複が最小限に抑えられていることが、関連性判断に反映されており、非冗長な結果を好む傾向がうかがえる。
• 提案された4段階の関連性スケール（非関連、ちょうどよい、広め、狭め）は、現在の10段階スケールよりも単純で一貫性のとれたフレームワークを提供する。
• 新関連性定義は、INEX 2005で提案された自動評価ツール（例：要素強調、自動特異性計算）と適合可能であり、評価の効率化と認知的負荷の管理の改善に寄与できる。