[論文レビュー] Maximum Selection and Sorting with Adversarial Comparators and an Application to Density Estimation

Jayadev Acharya, Moein Falahatgar+3 more|arXiv (Cornell University)|Jun 9, 2016

Machine Learning and Algorithms参考文献 13被引用数 4

ひとこと要約

本稿では、入力が閾値Δ以上に異なる場合にのみ大きい値を返すが、それ以外の場合は任意に選ばれる敵対的比較子の下での最大値選択とソートを研究する。非適応的敵対的比較子の下では、期待値で最大値選択に2n回の比較、ソートに2n ln n回の比較を用いる効率的なアルゴリズムを提示。適応的敵対的比較子の下では、最大値選択にO(n log(1/ε))回の比較を用いる。これらは未解決問題を解決し、同じ近似保証のもとでより高速な密度推定を可能にする。

ABSTRACT

We study maximum selection and sorting of $n$ numbers using pairwise comparators that output the larger of their two inputs if the inputs are more than a given threshold apart, and output an adversarially-chosen input otherwise. We consider two adversarial models. A non-adaptive adversary that decides on the outcomes in advance based solely on the inputs, and an adaptive adversary that can decide on the outcome of each query depending on previous queries and outcomes. Against the non-adaptive adversary, we derive a maximum-selection algorithm that uses at most $2n$ comparisons in expectation, and a sorting algorithm that uses at most $2n \ln n$ comparisons in expectation. These numbers are within small constant factors from the best possible. Against the adaptive adversary, we propose a maximum-selection algorithm that uses $Θ(n\log (1/ε))$ comparisons to output a correct answer with probability at least $1-ε$. The existence of this algorithm affirmatively resolves an open problem of Ajtai, Feldman, Hassadim, and Nelson. Our study was motivated by a density-estimation problem where, given samples from an unknown underlying distribution, we would like to find a distribution in a known class of $n$ candidate distributions that is close to underlying distribution in $\ell_1$ distance. Scheffe's algorithm outputs a distribution at an $\ell_1$ distance at most 9 times the minimum and runs in time $Θ(n^2\log n)$. Using maximum selection, we propose an algorithm with the same approximation guarantee but run time of $Θ(n\log n)$.

研究の動機と目的

• 入力が閾値Δ以上に異なる場合にのみ正しく動作するが、それ以外は任意となる敵対的比較子の下で最大値選択とソートの課題に取り組む。
• 非適応的（事前に固定された結果）と適応的（過去のクエリに依存する結果）の2つの敵対的モデルを分析する。
• 高い確率での正しさと近似的最適性能を達成する低比較複雑度のアルゴリズムを設計する。
• 密度推定に応用し、SchefféのアルゴリズムのΘ(n² log n)からΘ(n log n)への実行時間の短縮を実現しつつ、9倍の近似保証を維持する。

提案手法

• 非適応的敵対的比較子モデル下で、期待値で最大2n回の比較を用いる最大値選択アルゴリズムを提案する。
• 非適応的敵対的比較子モデル下で、期待値で最大2n ln n回の比較を用いるソートアルゴリズムを設計する。
• 適応的敵対的比較子モデル下で、正しさの確率が1−ε以上であるように、O(n log(1/ε))回の比較を用いる最大値選択アルゴリズムを導入する。
• ランダムピボットを用いたクイックソートを活用し、非適応的ノイズ下でその期待クエリ複雑度がノイズレスケース（f(n) = 2n ln n − (4−2γ)n + 2 ln n + O(1)）で有界であることを示す。
• 入力の差がΔを超える限り、クイックソートが敵対的比較子下でもゼロの2-近似誤差を維持することを証明する。
• 候補分布をサンプルベースの距離推定で比較する要素とみなして、最大値選択アルゴリズムを密度推定に応用する。

実験結果

リサーチクエスチョン

• RQ1 比較子が敵対的であり、入力の差がΔ以上に異なる場合にのみ正しく動作するが、それ以外は任意である場合に、最大値要素を求めるために必要な最小比較回数は何か？
• RQ2 特に非適応的モデルにおいて、敵対的比較子下で近似的最適な比較複雑度を持つソートアルゴリズムを設計できるか？
• RQ3 適応的敵対的比較子モデルは最大値選択の複雑度にどのように影響するか。また、サブ線形なクエリオーバーヘッドで高確率保証を達成できるか？
• RQ4 提案された比較子モデルを用いて、近似品質を損なわずに密度推定アルゴリズムの実行時間を改善できるか？
• RQ5 比較グラフの構造的性質（例：インデグリーやアウトデグリー）は、敵対的比較モデルにおける最適性能を保証するか？

主な発見

• 非適応的敵対的比較子モデル下で、最大値選択アルゴリズムは期待値で最大2n回の比較を用い、情報理論的下界の小さな定数倍の範囲内に収まる。
• 非適応的敵対的比較子下でのソートにおいて、提案されたアルゴリズムは期待値で最大2n ln n回の比較を用い、定数倍の差異を除いてマージソートと同等の性能を達成する。
• 適応的敵対的比較子モデル下で、最大値選択アルゴリズムはO(n log(1/ε))回の比較を用い、正しさの確率が1−ε以上となる。これはAjtaiら（2015）が提示した未解決問題を解決する。
• 入力差がΔを超える限り、比較子の挙動の構造のおかげで、クイックソートは敵対的比較子下でもゼロの2-近似誤差を維持する。
• 非適応的敵対的比較子下でクイックソートの期待クエリ複雑度は、ノイズレスケースf(n) = 2n ln n − (4−2γ)n + 2 ln n + O(1)で有界であり、有利なピボット分布のおかげである。
• 最大値選択アルゴリズムを密度推定に応用することで、SchefféのアルゴリズムのΘ(n² log n)からΘ(n log n)への実行時間短縮が可能となり、ℓ₁距離の9倍近似保証を維持する。