[論文レビュー] An Active Learning Algorithm for Ranking from Pairwise Preferences with an Almost Optimal Query Complexity

Nir Ailon|arXiv (Cornell University)|Oct 30, 2010

Machine Learning and Algorithms参考文献 44被引用数 79

ひとこと要約

この論文は、ペアワイズの好みから順序付けのためのアクティブラーニングアルゴリズムを提示しており、元の問題を任意の経験的リスク最小化（ERM）ブラックボックスで解けるより単純な問題に還元することにより、ほぼ最適なクエリ複雑度を達成する。この手法は、$O(n\operatorname{polylog}(n,\varepsilon^{-1}))$ 個のペアワイズラベルのみを適応的にサンプリングし、その結果得られる解が最適損失の $(1+\varepsilon)$ 倍以内に収まるように保証しており、VC理論に基づく非適応的サンプリング戦略に比べて著しく優れている。

ABSTRACT

We study the problem of learning to rank from pairwise preferences, and solve a long-standing open problem that has led to development of many heuristics but no provable results for our particular problem. Given a set $V$ of $n$ elements, we wish to linearly order them given pairwise preference labels. A pairwise preference label is obtained as a response, typically from a human, to the question "which if preferred, u or v?$ for two elements $u,v\in V$. We assume possible non-transitivity paradoxes which may arise naturally due to human mistakes or irrationality. The goal is to linearly order the elements from the most preferred to the least preferred, while disagreeing with as few pairwise preference labels as possible. Our performance is measured by two parameters: The loss and the query complexity (number of pairwise preference labels we obtain). This is a typical learning problem, with the exception that the space from which the pairwise preferences is drawn is finite, consisting of ${n\choose 2}$ possibilities only. We present an active learning algorithm for this problem, with query bounds significantly beating general (non active) bounds for the same error guarantee, while almost achieving the information theoretical lower bound. Our main construct is a decomposition of the input s.t. (i) each block incurs high loss at optimum, and (ii) the optimal solution respecting the decomposition is not much worse than the true opt. The decomposition is done by adapting a recent result by Kenyon and Schudy for a related combinatorial optimization problem to the query efficient setting. We thus settle an open problem posed by learning-to-rank theoreticians and practitioners: What is a provably correct way to sample preference labels? To further show the power and practicality of our solution, we show how to use it in concert with an SVM relaxation.

研究の動機と目的

• 順序付けの学習における長年の未解決問題を解決する：損失バウンドに影響を与えることなく、ペアワイズ好みラベルを効率的にサンプリングすること。
• 元の順序付け問題を、$\binom{n}{2}$ 個の可能なペアワイズ比較から、標準的な ERM ブラックボックスで解けるより単純な問題に還元すること。
• クエリ複雑度を $O(n\operatorname{polylog}(n,\varepsilon^{-1}))$ に抑えつつ、最適解の $(1+\varepsilon)$ 倍以内の損失を達成すること。
• 同じレグレットバウンドを達成する場合に、適応的サンプリングが非適応的サンプリングを上回ることを示すこと。
• ペアワイズ好みを用いた順序付けタスクにおけるアクティブラーニングの実用的で、証明可能な正しさを持つフレームワークを提供すること。

提案手法

• アルゴリズムは、最適解の損失が $(1+\varepsilon)$ 要因以内に保たれるようにする変換を用いて、順序付け問題を別の学習問題に還元する。
• 現在のモデルの不確実性に基づいて、ペアワイズ比較を選択する適応的ラベルサンプリングを採用し、クエリ数を最小限に抑える。
• 還元により、還元された問題に任意の ERM ブラックボックスを適用した場合、元の問題の最適解の損失の $(1+\varepsilon)$ 倍以内の損失を持つ解が得られることが保証される。
• 還元とラベル選択をガイドするため、最小フィードバックアーキスセット問題（MFAST）のPTASを活用する。
• 非推移的三角形のパッキングを用いて、サポートベクターマシンの定式化における目的関数の下界を導出する。
• Hoeffdingの不等式による濃度バウンドにより、サンプルサブセット上の経験的リスクが、高確率で真のリスクと $O(\varepsilon F_2(w))$ 以内に一致することが保証される。

実験結果

リサーチクエスチョン

• RQ1 ペアワイズ好みからの順序付けのためのアクティブラーニングアルゴリズムを設計でき、証明可能な損失保証のもとでほぼ最適なクエリ複雑度を達成できるか？
• RQ2 適応的サンプリングは、ペアワイズ好みを用いた順序付けにおいて、非適応的サンプリングよりも著しく効率的か？
• RQ3 元の順序付け問題を、標準的な ERM ブラックボックスで解けるより単純な問題に還元でき、損失バウンドを保つことができるか？
• RQ4 順序付け問題の $(1+\varepsilon)$-近似解を得るために必要なペアワイズクエリの最小数は何か？
• RQ5 同じレグレットバウンドを達成する場合、VC次元に基づくバウンドと適応的サンプリングのクエリ複雑度はどのように比較できるか？

主な発見

• 提案されたアルゴリズムは、任意の $\varepsilon > 0$ に対して、$O(n\operatorname{polylog}(n,\varepsilon^{-1}))$ のクエリ複雑度を達成し、これはほぼ最適である。
• この手法により、最終的な順序付けの損失が最適損失の $(1+\varepsilon)$ 倍以内になることが、高確率で保証される。
• より単純な問題への還元により、任意の ERM ブラックボックスが使用可能となり、その結果得られる解は、元の問題の最適解の $(1+\varepsilon)$ 倍以内に近似される。
• VC次元に基づく非適応的サンプリング戦略は、同じレグレットレベルにおいて著しく悪いクエリ複雑度バウンドをもたらす。
• 理論的分析により、$M = O(\varepsilon^{-6}(1+2c)^2 d \log(1/\varepsilon))$ 個のサンプルを使用した場合、経験的リスクが高確率で真のリスクと $O(\varepsilon F_2(w))$ 以内に一致することが示された。
• SVMベースの ERM ブラックボックスを用いた実験的評価により、還元された問題が、任意の所望の誤差マージン内で元の SVM 解を証明的に近似することが確認された。