[論文レビュー] Ranking Data with Continuous Labels through Oriented Recursive Partitions

Stéphan Clémençon, Mastane Achab|arXiv (Cornell University)|Jan 17, 2018

Advanced Statistical Methods and Models被引用数 3

ひとこと要約

本稿では、連続ラベル Y の確率的順序を保持するスコア関数を用いてオブジェクトを順序付けすることを目的とする、教師あり学習問題としての連続順序付け（continuous ranking）を導入する。性能評価には IROC曲線と IAUC 基準を提案し、方向付き二分木を用いて IAUC を最適化する再帰的分割法である CRank を開発し、実験的に回帰および順序付けベースラインを上回る優れた性能を示した。

ABSTRACT

We formulate a supervised learning problem, referred to as continuous ranking, where a continuous real-valued label Y is assigned to an observable r.v. X taking its values in a feature space $\mathcal{X}$ and the goal is to order all possible observations x in $\mathcal{X}$ by means of a scoring function $s:\mathcal{X} ightarrow \mathbb{R}$ so that s(X) and Y tend to increase or decrease together with highest probability. This problem generalizes bi/multi-partite ranking to a certain extent and the task of finding optimal scoring functions s(x) can be naturally cast as optimization of a dedicated functional criterion, called the IROC curve here, or as maximization of the Kendall $τ$ related to the pair (s(X), Y ). From the theoretical side, we describe the optimal elements of this problem and provide statistical guarantees for empirical Kendall $τ$ maximization under appropriate conditions for the class of scoring function candidates. We also propose a recursive statistical learning algorithm tailored to empirical IROC curve optimization and producing a piecewise constant scoring function that is fully described by an oriented binary tree. Preliminary numerical experiments highlight the difference in nature between regression and continuous ranking and provide strong empirical evidence of the performance of empirical optimizers of the criteria proposed.

研究の動機と目的

• ラベル Y が二値または離散的ではなく連続的である場合の二部および多部順序付けの一般化として連続順序付けを形式化すること。
• 連続順序付けにおける最適スコア関数の存在に関する理論的条件を確立すること。
• 連続順序付けのための自然で分布に依存しない性能測定指標としての IROC曲線と IAUC を提案すること。
• 方向付き二分木を用いて局所的に IAUC を最適化する再帰的統計学習アルゴリズム（CRank）を開発すること。
• 連続順序付けが回帰とは本質的に異なること、および IAUC を最適化する学習がより優れた順序付け性能をもたらすことを実験的に示すこと。

提案手法

• 連続ラベルに一般化された ROC 曲線である IROC 曲線を目的関数として用いる最適化問題として連続順序付けを定式化する。
• IAUC（統合 AUC）を性能の要約スカラー指標として定義し、これは s(X) と Y 間の期待 Kendall tau に等価であることを示す。
• 方向付き二分木を用いて局所的に IAUC を最適化する再帰的分割法である CRank アルゴリズムを提案する。
• 各ノードで、中央値に基づく閾値を用いてデータのサブセットに対して二値分類を実行し、特徴空間を分割する。
• 交差検証に基づくプルーニング戦略を用いて、全木系列から複雑さと性能のバランスが取れた最適な部分木を選択する。
• 既知の Y = m(X) を持つ一次元のトイ例を用いて実験的に評価し、CRank、Kendall に最適化された CRank、CART の各手法について IAUC、Kendall tau、MSE を比較する。

実験結果

リサーチクエスチョン

• RQ1 連続順序付けにおいて最適スコア関数が存在する条件は何か？ また、確率的順序の観点からどのように特徴づけられるか？
• RQ2 連続順序付けの文脈においてスコア関数の性能を定量的に測るにはどうすればよく、二値分類における AUC を一般化する基準は何か？
• RQ3 再帰的分割を IAUC 最適化に適応できるか？ また、安定的かつ解釈可能なスコア関数が得られるか？
• RQ4 連続順序付けは標準的回帰とは本質的にどのように異なるのか？ なぜ MSE 最小化が順序付けタスクには不適切なのか？
• RQ5 IAUC に最適化された学習の実験的性能は、回帰および Kendall tau 最大化と比較してどうか？

主な発見

• トイ例において CRank は IAUC 0.95 を達成し、CART（0.61）および Kendall に最適化された CRank（0.94）を著しく上回り、IAUC の最適化性能に優れていることが示された。
• CRank の Kendall tau は 0.92 であり、CART の 0.58 よりも著しく高く、真の連続ラベルとの順位相関が優れていることを示している。
• CART は最小の MSE（7.4×10⁻⁴）を達成したが、IAUC と Kendall tau は低く、MSE 最小化が順序の保存に失敗していることを示している。
• Kendall に最適化された CRank は高い Kendall tau（0.93）と IAUC（0.94）を達成しており、実務的に IAUC と Kendall tau が密接に一致することを確認した。
• 実験的結果から、最小二乗基準（MSE）は連続順序付けには不十分であることが明らかになった。これは、正しい順序付けに不可欠な局所的振動を捉えられていないためである。
• CRank アルゴリズムは方向付き再帰的分割を用いて、階層的かつ解釈可能な順序付けモデルを生成する区分的定数スコア関数を的確に学習した。