[論文レビュー] Ranking Median Regression: Learning to Order through Local Consensus

Stéphan Clémençon, Anna Korba+1 more|arXiv (Cornell University)|Oct 31, 2017

Game Theory and Voting Systems参考文献 22被引用数 3

ひとこと要約

本稿では、入力特徴量を用いて順序付けられたユーザーの好みを予測するためのランキング中央回帰（ranking median regression）を導入する。この手法は、局所的なケメンズ中央値を用いて条件付き順序中央値を近似することで、入力Xの下での条件付きケメンズ中央値を求める。理論的学習レートを確立し、k-NNおよび木構造ベースの効率的アルゴリズム（CRIT）を提案する。これらの手法は、合成データおよび実世界のGSSデータにおいてベースラインを上回り、経験的ケンダール距離リスクが低くなる。

ABSTRACT

This article is devoted to the problem of predicting the value taken by a random permutation $Σ$, describing the preferences of an individual over a set of numbered items $\{1,\; \ldots,\; n\}$ say, based on the observation of an input/explanatory r.v. $X$ e.g. characteristics of the individual), when error is measured by the Kendall $τ$ distance. In the probabilistic formulation of the 'Learning to Order' problem we propose, which extends the framework for statistical Kemeny ranking aggregation developped in \citet{CKS17}, this boils down to recovering conditional Kemeny medians of $Σ$ given $X$ from i.i.d. training examples $(X_1, Σ_1),\; \ldots,\; (X_N, Σ_N)$. For this reason, this statistical learning problem is referred to as extit{ranking median regression} here. Our contribution is twofold. We first propose a probabilistic theory of ranking median regression: the set of optimal elements is characterized, the performance of empirical risk minimizers is investigated in this context and situations where fast learning rates can be achieved are also exhibited. Next we introduce the concept of local consensus/median, in order to derive efficient methods for ranking median regression. The major advantage of this local learning approach lies in its close connection with the widely studied Kemeny aggregation problem. From an algorithmic perspective, this permits to build predictive rules for ranking median regression by implementing efficient techniques for (approximate) Kemeny median computations at a local level in a tractable manner. In particular, versions of $k$-nearest neighbor and tree-based methods, tailored to ranking median regression, are investigated. Accuracy of piecewise constant ranking median regression rules is studied under a specific smoothness assumption for $Σ$'s conditional distribution given $X$.

研究の動機と目的

• 入力特徴量からユーザーの好みの順列を予測する問題を統計的学習タスクとして形式化すること。
• 入力依存の好みを有する条件付き設定にまで拡張された統計的ケメンズ順序集約を実現すること。
• 局所的コンセンサスに基づく、計算が効率的で解釈可能な順序予測モデルを開発すること。
• 区分定数順序ルールのための理論的学習レートと近似バウンドを確立すること。
• 合成データおよび実世界のGSSアンケートデータにおいて、本手法の有効性を経験的に検証すること。

提案手法

• 入力Xが与えられた下での条件付きケメンズ中央値を求めるために、ケンダールτ距離に関する経験的リスク最小化としてランキング中央回帰を定式化する。
• 局所的ケメンズコンセンサスを導入：入力空間内の局所的領域内で中央値を計算することで、条件付き中央値を近似する。
• k-近傍法を順序回帰に適応し、学習点の近傍における局所的ケメンズ中央値を計算する。
• CRITアルゴリズム（Consensus Ranking Ing Tree）を提案：入力空間を再帰的に分割することで、局所的順序リスクを最小化する木構造ベースの手法。
• ノードの不純度測度として、局所的ケメンズ中央値リスクに基づく指標を用い、領域内での予測順序のばらつきを低く保つように分割を誘導する。
• 実験において、プラケット＝ルースモデルおよびK-meansクラスタリングをベースラインとして用いる。

実験結果

リサーチクエスチョン

• RQ1 入力特徴量が与えられた下で、順列を条件付きケメンズ中央値として予測する理論的基盤は何か？
• RQ2 ケメンズ中央値の局所的コンセンサス近似は、ランキング中央回帰において高速な学習レートを達成できるか？
• RQ3 k-NNおよび木構造ベースの手法（局所的ケメンズ中央値に基づく）は、ベースラインモデルと比較して予測精度で優れているか？
• RQ4 CRITアルゴリズムの分割により、実世界の好みデータにおいて入力特徴量にどのような構造的パターンが明らかになるか？
• RQ5 滑らかさの仮定の下で、区分定数予測ルールは最適なランキング中央値関数をどの程度うまく近似できるか？

主な発見

• GSSデータセットにおいて、CRITアルゴリズムは平均経験的リスク2.763を達成し、ベースラインモデルを著しく上回った。
• 同じデータセットにおいて、k-NN手法は平均経験的リスク3.235を達成し、実世界の好みデータに対する有効性を示した。
• φ ≥ 2 の合成データにおいて、k-NNおよびCRITの両手法が、入力空間の真の区分定数パーティショニングを正しく回復した。
• CRITアルゴリズムの分割により、意味のあるグループ化が明らかになった：第1段階で職業、第2段階で人種、低レベルで教育水準が判明し、先行研究と整合的であった。
• 理論的解析により、条件付き対比較確率 P(Σ(i) < Σ(j) | X = x) がリプシッツ連続であれば、高速な学習レートが達成可能であることが示された。
• 局所的コンセンサスアプローチにより、既存のケメンズ中央値ソルバーを活用することで、計算が効率的かつ解釈可能になる。