[論文レビュー] Response to Moffat's Comment on "Towards Meaningful Statements in IR Evaluation: Mapping Evaluation Measures to Interval Scales"

Marco Ferrante, Nicola Ferro+1 more|arXiv (Cornell University)|Dec 22, 2022

Advanced Text Analysis Techniques被引用数 24

ひとこと要約

本論文は Moffat の批判に応答し、測定の表象理論、有用性、および IR評価指標の間隔化アプローチを明確にすることで、Moffat の批判に応答する。

ABSTRACT

Moffat recently commented on our previous work. Our work focused on how laying the foundations of our evaluation methodology into the theory of measurement can improve our knowledge and understanding of the evaluation measures we use in IR and how it can shed light on the different types of scales adopted by our evaluation measures; we also provided evidence, through extensive experimentation, on the impact of the different types of scales on the statistical analyses, as well as on the impact of departing from their assumptions. Moreover, we investigated, for the first time in IR, the concept of meaningfulness, i.e. the invariance of the experimental statements and inferences you draw, and proposed it as a way to ensure more valid and generalizabile results. Moffat's comments build on: (i) misconceptions about the representational theory of measurement, such as what an interval scale actually is and what axioms it has to comply with; (ii) they totally miss the central concept of meaningfulness. Therefore, we reply to Moffat's comments by properly framing them in the representational theory of measurement and in the concept of meaningfulness. All in all, we can only reiterate what we said several times: the goal of this research line is to theoretically ground our evaluation methodology - and IR is a field where it is extremely challenging to perform any theoretical advances - in order to aim for more robust and generalizable inferences - something we currently lack in the field. Possibly there are other and better ways to achieve this objective and these proposals could emerge from an open discussion in the field and from the work of others. On the other hand, reducing everything to a contrast on what is (or pretend to be) an interval scale or whether all or none evaluation measures are interval scales may be more a barrier from than a help in progressing towards this goal.

研究の動機と目的

• IR評価における測定の表象理論についての誤解を明確にする。
• 意味性の役割を、許容可能な尺度変換に対する不変性として主張する。
• IR指標におけるユーザの視点を保持する方法として提案された間隔化アプローチを擁護する。
• 測定公理（差異構造）とIRにおける間隔尺度の関係について検討する。

提案手法

• 測定と尺度タイプ（名義、順序、間隔、比）の基礎概念を概観する。
• 等間隔の刻みとしての solvability（解決可能性）を間隔尺度の重要な公理として説明する。
• 意味性を、許容可能な変換の下での命題の不変性として定義する。
• 基礎となる順序を保ちながら、ランキングを間隔尺度へ変換する手続きとしての intervalization を提示する。
• データセット全体で、間隔化が統計分析に及ぼす影響を実証的に評価する。

実験結果

リサーチクエスチョン

• RQ1 表象理論におけるIR評価指標の有効な間隔尺度とは何か。
• RQ2 IR評価指標は間隔尺度の下で意味のある解釈が可能か、統計分析へはどのような影響があるか。
• RQ3 間隔化はIR実験において意味のある推論を可能にしつつ、ユーザの視点を保持するのか。
• RQ4 間隔尺度の仮定から逸脱することがIR評価と推論へ及ぼす影響は何か。

主な発見

• 間隔尺度は等間隔の刻みとアフィンな許容変換を必要とする。すべてのIR指標がこれを満たすわけではない。
• 意味性は許容変換下での命題の不変性についてであり、主観的な解釈可能性ではない。
• 間隔化は指標が与える順序を保持しつつ、間隔尺度分析と検定を可能にする。
• 著者らは、標準的なIRタスク全体で、尺度仮定が統計分析に与える影響を示す大規模な実験を提供する。
• 本回答は、IRにおける堅牢で一般化可能な推論の理論的基盤を確立することを目的とし、すべての指標を間隔尺度に無理に押し込むことを目的としていないことを繰り返す。