[論文レビュー] Learning the Gain Values and Discount Factors of DCG

Ke Zhou, Hongyuan Zha+2 more|arXiv (Cornell University)|Dec 22, 2012

Tensor decomposition and applications参考文献 1被引用数 6

ひとこと要約

本稿では、ユーザーの好みデータから割り当て値と割引係数の最適値を学習する原理的アプローチを提案する。DCGを線形効用関数として定式化し、二次計画法を用いてパラメータを最適化する。この手法はDCGの整合性を向上させ、シミュレーションを通じて有効性を示しており、学習されたパラメータが恣意的な設定よりも信頼性の高い順序付け評価をもたらすことを示している。

ABSTRACT

Evaluation metrics are an essential part of a ranking system, and in the past many evaluation metrics have been proposed in information retrieval and Web search. Discounted Cumulated Gains (DCG) has emerged as one of the evaluation metrics widely adopted for evaluating the performance of ranking functions used in Web search. However, the two sets of parameters, gain values and discount factors, used in DCG are determined in a rather ad-hoc way. In this paper we first show that DCG is generally not coherent, meaning that comparing the performance of ranking functions using DCG very much depends on the particular gain values and discount factors used. We then propose a novel methodology that can learn the gain values and discount factors from user preferences over rankings. Numerical simulations illustrate the effectiveness of our proposed methods. Please contact the authors for the full version of this work.

研究の動機と目的

• DCGにおける異なる割り当て値と割引係数が、順序付け関数の評価に一貫性のない結果をもたらすかどうかを調査すること。
• DCGにおけるパラメータ選択に原則的な枠組みが欠如している問題に対処すること。現状では、恣意的な方法で選ばれている。
• ユーザーの順序付けリストに対する好みの判断からDCGのパラメータを推定する学習フレームワークを開発すること。
• DCGを線形効用関数としてモデル化し、好みに基づく最適化を用いてそのパラメータを学習すること。
• 数値シミュレーションを用いて、本手法の実現可能性と有効性を評価すること。

提案手法

• 割り当てベクトルと割引係数を学習可能なパラメータとして持つ線形効用関数としてDCGを定式化する。
• ユーザーの好みを、ある順序付けが別の順序付けよりも好まれるというペアワイズ順序としてモデル化する。
• 観測された好みと最も一致するように、割り当てベクトルと割引係数を学習する二次計画法最適化問題を構築する。
• 順序の一貫性を保証する制約を導入する：割り当て値は単調に減少し、割引係数は厳密に減少する必要がある。
• 距離尺度（例：ハミング距離）を用いて順序間の差の大きさを考慮し、拡張モデルでより良い性能を実現する。
• 文書のグレードが入手できない状況では、順序をバイナリーベクトルとして表現し、好みペアから直接効用重みを学習する。

実験結果

リサーチクエスチョン

• RQ1 DCGにおける割り当て値と割引係数の選択が、異なる順序付け関数の相対的性能順序に顕著な影響を及ぼすか？
• RQ2 ユーザーの好みからパラメータを学習することで、DCGの整合性を向上させることができるか？
• RQ3 好みのデータを用いて、DCGパラメータを線形効用関数として学習することは可能か？
• RQ4 提示された二次計画法アプローチは、意味のあるDCGパラメータを学習するのにどの程度有効か？
• RQ5 文書グレードが利用できない状況にも本手法は一般化可能か？

主な発見

• DCGは一般には整合性がない：異なるパラメータセットが、特に2つ以上の関連性グレードを用いる場合、順序付け関数の評価を矛盾させることがある。
• 提示された手法は、二次計画法を用いてユーザーの好みからDCGパラメータを効果的に学習し、評価の整合性を向上させた。
• 順序間の距離を考慮する拡張モデルは、基本モデルに比べて限定的ではあるが明確な性能向上を示した。
• 文書グレードが入手できない状況でも、本手法は好みペアから正確に効用重みを学習でき、効果的な順序付け評価を可能にした。
• シミュレーションにより、学習されたパラメータが恣意的な設定よりも信頼性が高く一貫性のある性能比較をもたらすことが示された。
• 本手法は頑健でスケーラブルであり、トレーニング用好みペアの数が増えるに従い、精度が向上する。