[論文レビュー] Assessing top-$k$ preferences

Charles L. A. Clarke, Alexandra Vtyurina+1 more|arXiv (Cornell University)|Jul 22, 2020

Mobile Crowdsensing and Crowdsourcing参考文献 45被引用数 4

ひとこと要約

本論文は、評価者が全順位付けを行うのではなく、上位アイテムのみを比較する部分的top-$k$順序評価に基づく、ランク付けシステムの新しい評価手法を提案する。この手法では、システムの出力と、これらの順序評価から導かれた理想順序との整合性を測ることで、NDCGが捉えられない現代のニューラルランカーにおける微細な改善を検出可能となる。これは、従来の段階的評価に比べ、感受性と実用性に優れた代替手法を提供する。

ABSTRACT

Assessors make preference judgments faster and more consistently than graded judgments. Preference judgments can also recognize distinctions between items that appear equivalent under graded judgments. Unfortunately, preference judgments can require more than linear effort to fully order a pool of items, and evaluation measures for preference judgments are not as well established as those for graded judgments, such as NDCG. In this paper, we explore the assessment process for partial preference judgments, with the aim of identifying and ordering the top items in the pool, rather than fully ordering the entire pool. To measure the performance of a ranker, we compare its output to this preferred ordering by applying a rank similarity measure.We demonstrate the practical feasibility of this approach by crowdsourcing partial preferences for the TREC 2019 Conversational Assistance Track, replacing NDCG with a new measure named "compatibility". This new measure has its most striking impact when comparing modern neural rankers, where it is able to recognize significant improvements in quality that would otherwise be missed by NDCG.

研究の動機と目的

• 情報検索における順序評価のためのwell-establishedな評価指標の欠如に取り組む。
• NDCGが意味のある向上を捉えられない場合に、現代のニューラルランカー間の性能差をより感受性高く検出することを目的とする。
• 全順位付けではなく上位-$k$アイテムに限定することで、評価コストと作業負荷を削減することを目的とする。
• クラウドソーシングを用いた部分的順序評価に基づく、オフライン情報検索評価のための実用的でスケーラブルな手法を開発することを目的とする。
• 段階的評価に比べ、順序ベースの評価が実際のユーザーのクリック行動や好みのパターンとより整合するかどうかを示すこと

提案手法

• 部分的順序評価に焦点を当てる：評価者は各クエリに対して上位-$k$アイテムのみを評価し、最も良い結果の弱順序を形成する。
• 理想順序集合を定義する：部分的順序と整合する上位-$k$アイテムのすべての順列からなる集合とし、非関連アイテムは除外する。
• ランクバイアスオーバラップ（RBO）を用いて、システムの実際の順序と集合内の各理想順序との類似度を計算する。
• 整合性を、システム出力と集合内のある理想順序との間の最大RBO類似度として定義する。
• オフラインIR評価における主な評価指標として、従来のNDCGの代わりに整合性を採用する。
• TREC 2019 コンバーシェンショナルアシスタンストラックにこの手法を適用し、クラウドソーシングで得た上位5件の順序評価と、元の段階的評価をベースラインとして用いる。

実験結果

リサーチクエスチョン

• RQ1 部分的top-$k$順序評価は、現代のニューラルランカーに対してNDCGよりも感受性の高い評価指標を提供できるか？
• RQ2 整合性は、NDCGと比較してランカー間の有意義な性能差を検出できるか？
• RQ3 整合性は、NDCGが捉えられないランカーの改善を効果的に特定できるか？
• RQ4 大規模なIR評価において、クラウドソーシングによる部分的順序評価の実用的妥当性はいかがなものか？
• RQ5 上位-$k$順序評価に焦点を当てることで、実際のユーザーのクリック行動や好みのパターンとの整合性が向上するか？

主な発見

• TREC 2019 CAsTトラックの上位4ランクの間で、NDCG@3では区別できなかった顕著な性能差が、整合性によって検出された。
• クラウドソーシングによる上位5件の回答のみを理想順序として使用した場合、整合性はランカーの差を検出する感度が73.3%に達し、段階的評価のみを使用した場合を上回った。
• 唯一の最良回答のみを理想順序として使用した場合でも、整合性は上位ランクの相対順序を維持したが、感度は55.2%に低下した。
• ニューラルランカーは、整合性の下で測定された明確な改善が認められたが、NDCGでは検出されなかった。これは、整合性が微細な品質向上に対して優れた感受性を示していることを示している。
• 本手法は、実世界のIR評価タスクにおけるクラウドソーシングの応用を通じて、実用的でスケーラブルであることが実証された。
• 段階的評価の初期段階を「関連」「関連するがやや関連性が低い」「関連なし」の3カテゴリに簡素化することで、プロセスの簡素化が可能であり、評価品質を維持できる可能性がある。