[論文レビュー] An efficient reduction of ranking to classification

Nir Ailon, Mehryar Mohri|ArXiv.org|Oct 15, 2007

Complexity and Algorithms in Graphs参考文献 24被引用数 52

ひとこと要約

本稿では、平均的ペアワイズ誤順序付けのレジームを最適なrに達成するランダム化された順序付けから二値分類への還元を提示している。Balcanらの2倍の保証を上回る。この手法は、O(n log n)の期待時間計算量を持つ、独自のトーナメントベースのソーティングアルゴリズムを用いており、検索エンジンや情報抽出などの大規模応用においても効率的である。

ABSTRACT

This paper describes an efficient reduction of the learning problem of ranking to binary classification. The reduction guarantees an average pairwise misranking regret of at most that of the binary classifier regret, improving a recent result of Balcan et al which only guarantees a factor of 2. Moreover, our reduction applies to a broader class of ranking loss functions, admits a simpler proof, and the expected running time complexity of our algorithm in terms of number of calls to a classifier or preference function is improved from $Ω(n^2)$ to $O(n \log n)$. In addition, when the top $k$ ranked elements only are required ($k \ll n$), as in many applications in information extraction or search engines, the time complexity of our algorithm can be further reduced to $O(k \log k + n)$. Our reduction and algorithm are thus practical for realistic applications where the number of points to rank exceeds several thousands. Much of our results also extend beyond the bipartite case previously studied. Our rediction is a randomized one. To complement our result, we also derive lower bounds on any deterministic reduction from binary (preference) classification to ranking, implying that our use of a randomized reduction is essentially necessary for the guarantees we provide.

研究の動機と目的

• 平均的ペアワイズ誤順序付けのレジームを最小限に抑える、順序付け問題を二値分類へ効率的に還元する手法の開発。
• Balcan らの2rのレジームバウンドを上回り、最適なrのバウンドを達成することで、よりタイトな一般化保証を実現すること。
• 完全順序付けにおける時間計算量をΩ(n²)からO(n log n)に、また上位k個の要素のみが必要な場合にO(k log k + n)にまで低減すること。
• 決定的還元に対して下界を示し、最適なレジームバウンドを達成するにはランダム化が本質的に必要であることを証明すること。
• 二部順序付けのケースを超えて、より広範なクラスの順序付け損失関数をサポートするフレームワークへの拡張。

提案手法

• すべてのペアu,vについて、二値分類器からの信頼度スコアを用いて、順序関係関数h(u,v)を構築するランダム化アルゴリズムを提案。
• hに基づくペアワイド比較を用いて、クイックソートに類似した変種の手続きを用いて要素を順序付け、O(n log n)の期待時間計算量を保証。
• ランダム選択メカニズムを備えたトーナメント次数に基づく順序付け戦略を導入し、期待されるペアワイド誤順序付けのレジームを最小化。
• クイックソート解析から導かれる濃度不等式を応用し、期待性能からの逸脱を制限することで、耐障害性を向上。
• 全ペアまたは混合ペアの総数で正規化された損失関数を用い、両正規化スキーム下でも成立するレジームバウンドを証明。
• 3要素集合上で敵対的構成を用いた下界を確立し、決定的アルゴリズムでは2rより良いレジームバウンドを達成できないことを示した。

実験結果

リサーチクエスチョン

• RQ1 順序付けを二値分類に還元する際、平均的ペアワイド誤順序付けのレジームバウンドを2rからrに改善することは可能か？
• RQ2 Ω(n²)の時間計算量をO(n log n)に低減しつつ、最適なレジームバウンド保証を維持することは可能か？
• RQ3 順序関係関数を線形順序に変換するための最小計算コストは何か？また、ランダム化はこのコストにどのように影響するか？
• RQ4 二部順序付けの設定を超えて、より広範なクラスの順序付け損失関数へ還元を一般化することは可能か？
• RQ5 分類から順序付けへの還元において、最適なレジームバウンドを達成するにはランダム化が必須であるか？

主な発見

• 提案手法は、二値分類器のレジームrを用いて、平均的ペアワイド誤順序付けのレジームがr以下であることを達成し、Balcan らの2rのバウンドを改善した。
• 完全順序付けでは期待実行時間計算量がO(n log n)、上位k個の要素のみが必要な場合にO(k log k + n)であり、Ω(n²)に比べて顕著に向上した。
• 決定的アルゴリズムでは2rより良いレジームバウンドを達成できないことを示す下界を証明し、最適パフォーマンスを達成するにはランダム化が本質的であることを示唆した。
• 二部順序付けのケースを超えて、より広範なクラスの順序付け損失関数にも適用可能であり、異なる正規化スキーム下でも成立するレジームバウンドが保証された。
• 信頼度スコアの変動に対しても性能が安定しており、クイックソート解析に基づく濃度不等式により、安定性が保証された。
• 検索エンジンや情報抽出など、nが数え千を超える大規模応用において実用的であることが示された。