[論文レビュー] Worst-case vs Average-case Design for Estimation from Fixed Pairwise Comparisons

Ashwin Pananjady, Cheng Mao+3 more|arXiv (Cornell University)|Jul 19, 2017

Optimal Experimental Design Methods参考文献 42被引用数 13

ひとこと要約

本稿は、強い確率的推移性（SST）およびノイジィーソーティングモデルの下で、固定された対比較トポロジーからの比較確率の推定を検討する。根本的な二分法が示される：最悪ケース設計（任意のアイテム-トポロジー割り当て）では一貫した推定が不可能であるが、平均ケース設計（ランダム化された割り当て）では、二つの推定器がトポロジーの次数列にのみ依存する最適リスクを達成することが可能である。

ABSTRACT

Pairwise comparison data arises in many domains, including tournament rankings, web search, and preference elicitation. Given noisy comparisons of a fixed subset of pairs of items, we study the problem of estimating the underlying comparison probabilities under the assumption of strong stochastic transitivity (SST). We also consider the noisy sorting subclass of the SST model. We show that when the assignment of items to the topology is arbitrary, these permutation-based models, unlike their parametric counterparts, do not admit consistent estimation for most comparison topologies used in practice. We then demonstrate that consistent estimation is possible when the assignment of items to the topology is randomized, thus establishing a dichotomy between worst-case and average-case designs. We propose two estimators in the average-case setting and analyze their risk, showing that it depends on the comparison topology only through the degree sequence of the topology. The rates achieved by these estimators are shown to be optimal for a large class of graphs. Our results are corroborated by simulations on multiple comparison topologies.

研究の動機と目的

• 強い確率的推移性（SST）やノイジィーソーティングなどの置換ベースのモデルにおける、固定された対比較トポロジーからの比較確率の一貫した推定の可能性を調査すること。
• 限られた対比較の下でも一貫した推定が可能となる条件を同定すること。
• 推定の一貫性とリスクの観点から、最悪ケース設計と平均ケース設計の間の明確な対比を確立すること。
• 平均ケース設定における効率的推定器の提案と最適リスクレートの分析すること。
• 推定誤差が比較トポロジーの次数列を通じてどのように依存するかを特定すること。

提案手法

• グラフ G によって定義される固定された比較トポロジーを用いて問題を形式化し、辺が観測された対比較を表す。
• ブラッドレー＝テリーなどのパラメトリックモデルの代替として、非パラメトリックで置換ベースのモデルとして、強い確率的推移性（SST）およびノイジィーソーティングモデルを導入する。
• スパニングツリーとハミング距離に基づくパッキング論法を用いたFano型不等式により、最悪ケース設定では一貫した推定が不可能であることを証明する。
• アイテムがトポロジーにランダムに割り当てられる平均ケース設定において、最小二乗法と特化した推定器の二つの推定器を提案する。
• 比較行列の差分クラスにおけるダッドリーのエントロピー積分およびメトリックエントロピーの境界を用いて、推定器のリスクを分析する。
• 推定誤差がグラフの次数列にのみ依存することを確立し、ミニマックス下界による最適性を証明する。

実験結果

リサーチクエスチョン

• RQ1 SSTおよびノイジィーソーティングモデル下で、固定された部分集合の対比較しか観測できない場合に、比較確率の一貫した推定が可能か？
• RQ2 置換ベースのモデルにおける、最悪ケース設計（アイテムが比較トポロジーに任意に割り当てられる）の根本的制限は何か？
• RQ3 アイテムがトポロジーにランダムに割り当てられる平均ケース設計では、一貫した推定が達成可能か？
• RQ4 推定リスクは比較トポロジーの構造にどのように依存するか？
• RQ5 提案された推定器は、広範なグラフクラスにおいてミニマックスリスクの観点から最適か？

主な発見

• SSTおよびノイジィーソーティングモデル下で、自然な比較トポロジーの大多数において、最悪ケース設計では一貫した推定が不可能であることが示され、置換ベースのモデルにおける「無料のランチなしの定理」が確立される。
• アイテムがランダムに割り当てられる平均ケース設計では、二つの提案された推定器を用いて一貫した推定が可能であり、リスクは比較グラフの次数列にのみ依存する。
• 提案された推定器のリスクが、多くのグラフクラスにおいて改善不能（最適）であることが、ミニマックス下界が上界と一致することにより確認される。
• 推定誤差のレートはグラフの次数列によって特徴づけられ、トポロジー構造が性能に与える影響はノードの次数を通じてのみ現れることを示す。
• 複数の比較トポロジーにおけるシミュレーションにより、理論的リスク境界が妥当性を確認される。
• 分析により、最悪ケースと平均ケース設計の間には明確な二分法が存在し、後者は前者が失敗する状況でも一貫した推定を可能にする。