[論文レビュー] Ranking the best instances

Stéphan Clémençon, Nicolas Vayatis|arXiv (Cornell University)|Nov 6, 2006

Advanced Statistical Methods and Models参考文献 41被引用数 84

ひとこと要約

本稿は、上位のインスタンスを正しく特定・順序付けすることに焦点を当てた、局所的ランク付けのための新規フレームワークを提案する。AUC基準を拡張して上位順位のインスタンスを優先する性能指標を導入し、スコア関数と分位数に基づく統計量を用いた経験的リスク最小化の理論的基盤を確立する。最良のインスタンスの最適なランク付けは、段階的分類とランク付けでは達成できないことが示され、統計的依存性が本質的であることが判明した。

ABSTRACT

We formulate the local ranking problem in the framework of bipartite ranking where the goal is to focus on the best instances. We propose a methodology based on the construction of real-valued scoring functions. We study empirical risk minimization of dedicated statistics which involve empirical quantiles of the scores. We first state the problem of finding the best instances which can be cast as a classification problem with mass constraint. Next, we develop special performance measures for the local ranking problem which extend the Area Under an ROC Curve (AUC/AROC) criterion and describe the optimal elements of these new criteria. We also highlight the fact that the goal of ranking the best instances cannot be achieved in a stage-wise manner where first, the best instances would be tentatively identified and then a standard AUC criterion could be applied. Eventually, we state preliminary statistical results for the local ranking problem.

研究の動機と目的

• 検索エンジン、信用リスク、医療診断などの分野で、上位にランク付けされたインスタンスのみが重要となるような、最良のインスタンスを優先するランク付け手法の必要性に対応する。
• グローバルランク付け性能ではなく、スコア分布の上尾部に焦点を当てた、二部ランク付け問題としての局所的ランク付け問題を定式化する。
• AUCの一般化により、最良のインスタンスの正しい順序付けを強調する性能指標を開発する。これにより、ランク付け誤差に対する均一な重み付けを超える。
• 選択とランク付けを分離した二段階処理（分類の後にランク付け）では、統計的依存性のため、最良のインスタンスの特定と順序付けを達成できないことを示す。
• 新しい局所的ランク付け基準の経験的リスク最小化の理論的基盤を提供する。収束速度と分位数推定の影響を含む。

提案手法

• レート $u_0$ における最良インスタンスの集合を $C^*_{u_0} = \{x \in \mathcal{X} \mid \eta(x) \geq Q(\eta, 1 - u_0)\}$ と定義する。ここで $Q(\eta, 1 - u_0)$ は $\eta(X)$ の $(1 - u_0)$-分位数である。
• スコアの上位 $v_0$-分位数におけるランク付けの質を評価する新しい性能指標 $V(s, v_0)$ を導入し、AUCを局所的領域に一般化する。
• スコアの経験的分位数を含む統計量の経験的リスク最小化（ERM）を用いて、最適なスコア関数を推定する。
• 経験的分位数を理論的分位数にマッピングするために、変換 $F_s \circ \hat{F}_s^{-1}(v_0)$ を適用し、ややいびつな正則性条件下で一貫性のある推定を可能にする。
• Dvoretsky-Kiefer-Wolfowitz（DKW）不等式とベーリング型集中不等式を用いて、経験的分位数推定器の乖離を制御する。
• asymptotically $V_n(s, F_s \circ \hat{F}_s^{-1}(v_0))$ と $V_n(s, v_0)$ が同等であることを確立し、経験的過程が $O_p(\sqrt{\log(1/\delta)/n})$ の速度で収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 グローバルランク付けの正確さではなく、最良のインスタンスのランク付けを優先するため、性能指標をどのように拡張できるか？
• RQ2 上位 $u_0$ 分率のインスタンスをランク付けすることを目的とした場合、経験的リスク最小化の統計的性質は何か？
• RQ3 最良のインスタンスの特定とランク付けの問題は、段階的に行える（まず分類、次にランク付け）か。それとも、統計的依存性があるのか？
• RQ4 経験的リスク最小化の下で、提案された局所的ランク付け基準の収束速度は何か？
• RQ5 分位数推定誤差は、局所的ランク付け手順の性能にどのように影響するか？

主な発見

• 選択とランク付けの相互依存性のため、最良のインスタンスを最初に特定し、その後に標準的なAUCベースの学習を適用するのでは、局所的ランク付けの最適スコア関数は得られない。
• 局所的ランク付け基準の経験的リスク最小化は、経験的性能と理論的性能の乖離に対して $O_p(\sqrt{\log(1/\delta)/n})$ の収束速度を達成する。
• スコア分布にややいびつな正則性条件が成り立つ限り、真の値と経験的分位数に基づく性能指標の差は $O_p(\sqrt{\log(1/\delta)/n})$ で有界である。
• 微分可能性の仮定の下で、$K(s, F_s \circ \hat{F}_s^{-1}(v_0)) - K(s, v_0)$ である分位数推定誤差は $O_p(n^{-1})$ であることが示された。
• 局所化された経験的過程と集中不等式を用いたチェーンング・アプローチにより、経験的過程の収束が確立され、$V_n(s, v)$ が $v_0$ のまわりで振動するのを制御することが鍵となる。
• 理論的枠組みは、局所的ランク付け問題が選択とランク付けの共同処理を必要とし、標準的なAUCベースの手法ではこのタスクを満たせないことを確認した。