[論文レビュー] Minimax Rates and Efficient Algorithms for Noisy Sorting

Cheng Mao, Jonathan Weed+1 more|arXiv (Cornell University)|Oct 28, 2017

Game Theory and Voting Systems参考文献 36被引用数 15

ひとこと要約

この論文は、部分観測下におけるノイジィなソーティングモデルにおいて、潜在的順列の推定に関するミニマックス最適レートを確立し、順列のメトリックエントロピーの新しい解析を通じて対数因子を含まないレートを達成した。また、時間計算量が Õ(n²) のマルチステージソーティングアルゴリズムを提案し、近似的に最適な性能を達成した。これは、サンプリング・リプレースメント設定下で理論的保証を持つ最初の効率的アルゴリズムである。

ABSTRACT

There has been a recent surge of interest in studying permutation-based models for ranking from pairwise comparison data. Despite being structurally richer and more robust than parametric ranking models, permutation-based models are less well understood statistically and generally lack efficient learning algorithms. In this work, we study a prototype of permutation-based ranking models, namely, the noisy sorting model. We establish the optimal rates of learning the model under two sampling procedures. Furthermore, we provide a fast algorithm to achieve near-optimal rates if the observations are sampled independently. Along the way, we discover properties of the symmetric group which are of theoretical interest.

研究の動機と目的

• 順列ベースのランク付けモデルにおける統計的・計算的ギャップを埋めるために、部分観測下におけるノイジィなソーティングモデルのミニマックス最適レートを確立すること。
• 多項式時間計算量を持つ近似的に最適な推定レートを達成する効率的アルゴリズムを開発すること。
• ケンダール・トウ距離下での対称群のメトリックエントロピーを分析し、ミニマックスレートに対数因子が現れない理由を説明すること。
• サンプリング・リプレースメントモデル下でのマルチステージソーティングアルゴリズムに理論的保証を提供すること。
• ブラッドリー＝テュールプ＝ルースやサーストンのパラメトリック仮定を越えた非パラメトリックランク付けモデルの理解を拡張すること。

提案手法

• 著者らは、サンプリング・リプレースメントおよび非リプレースメントの2つのサンプリングスキームの下で、ノイジィなソーティングモデルのミニマックスリスクを分析した。
• ケンダール・トウ距離下での順列集合のメトリックエントロピーを研究することでミニマックスレートを導出し、n に依存する対数因子が生じないことを示した。
• 反復的にペアワイズ比較結果に基づいてスコア推定値を改善するマルチステージソーティングアルゴリズム（MS）を提案した。
• 信頼区間を用い、経験的スコアと濃度不等式に基づく適応的縮小により、候補集合を段階的に絞り込む手法を採用した。
• 理論的解析により、MSアルゴリズムが高確率で推定誤差が O(n²N⁻¹(log n)(log log n)) に抑えられることを証明した。
• 活性集合のサイズに対する再帰的バウンドを用いて、反復回数に応じて集合サイズが指数関数的に減少することを示した。

実験結果

リサーチクエスチョン

• RQ1 部分観測下で、ペアワイズ比較の一部しか観測されない場合、ノイジィなソーティングモデルにおける潜在的順列の推定のミニマックスレートは何か？
• RQ2 順列ベースのモデルにおけるミニマックスレートに対数因子が現れないのはなぜか？また、その背後にある対称群の構造的性質は何か？
• RQ3 多項式時間計算量を持つ近的に最適な推定レートを達成する効率的アルゴリズムを設計可能か？
• RQ4 サンプリング・リプレースメント設定下で、マルチステージソーティングアルゴリズムは近的に最適な性能を達成するか？
• RQ5 マルチステージアルゴリズムの理論的保証を、サンプリング・リプレースメント以外の設定へ拡張可能か？

主な発見

• サンプリング・リプレースメント下では、ノイジィなソーティングモデルにおける潜在的順列の推定ミニマックスレートは O(n²N⁻¹(log n)(log log n)) であり、n に依存する対数因子を含まない。
• ミニマックスレートに対数因子が現れないのは、ケンダール・トウ距離下での対称群のメトリックエントロピーの正確な解析によって説明できる。
• マルチステージソーティングアルゴリズムは、高確率で推定誤差が O(n²N⁻¹(log n)(log log n)) に抑えられ、ミニマックスレートと多項式対数因子の違いを除いて一致する。
• アルゴリズムの実行時間は Õ(n²) であり、これはサンプリング・リプレースメント設定下で理論的保証を持つ最初の効率的アルゴリズムである。
• 理論的解析により、アルゴリズムの出力順列 π̂ に対して、すべての i について |π̂(i) - i| ≤ O(n²N⁻¹(log n)(log log n)) が成り立つことが確認され、真の順序の正確な回復が保証された。
• 実験結果から、アルゴリズムはサンプリング・リプレースメントおよび非リプレースメントの両設定で同程度の性能を示すが、理論的拡張は未解決のままである。