[論文レビュー] Skyline Computation with Noisy Comparisons

Benoît Groz, Frederik Mallmann-Trenn+2 more|arXiv (Cornell University)|Oct 5, 2017

Data Management and Algorithms参考文献 25被引用数 3

ひとこと要約

本稿では、ノイズのある比較におけるスカイライン計算のための2つの新しい出力感度アルゴリズムを提示し、それぞれ $O(nd\log(dk/\delta))$ および $O(ndk\log(k/\delta))$ のクエリ複雑度を達成する。主な貢献は、低次元設定における既知の下界と上界の差を埋め、定数 $d$ に対して $o(nk)$ クエリでスカイライン計算が可能かどうかという未解決の問題を解決し、この領域における最初のタイトな境界を確立することにある。

ABSTRACT

Given a set of $n$ points in a $d$-dimensional space, we seek to compute the skyline, i.e., those points that are not strictly dominated by any other point, using few comparisons between elements. We adopt the noisy comparison model [FRPU94] where comparisons fail with constant probability and confidence can be increased through independent repetitions of a comparison. In this model motivated by Crowdsourcing applications, Groz & Milo [GM15] show three bounds on the query complexity for the skyline problem. We improve significantly on that state of the art and provide two output-sensitive algorithms computing the skyline with respective query complexity $O(nd\\log (dk/\\delta))$ and $O(ndk\\log (k/\\delta))$ where $k$ is the size of the skyline and $\\delta$ the expected probability that our algorithm fails to return the correct answer. These results are tight for low dimensions.

研究の動機と目的

• クラウドソーシングによるデータ収集のような、点同士の比較がノイズを含む状況において、スカイラインを効率的に計算する課題に対処すること。
• スカイラインのサイズ $k$ が $n$ よりも小さい場合に特に、高確率でスカイラインを計算するために必要な比較クエリの数を削減すること。
• ノイズのある比較モデルにおいて、既知の下界と従来の上界の差を埋めること、特に低次元データに対して。
• スカイライン計算のクエリ複雑度のタイトな境界を確立し、$d \leq k^c$ のとき $O(nd\log(dk/\delta))$ が最適であることを示すこと。
• ノイズのあるブール変数の論理和を評価する新しいサブルーチンを開発し、これが主アルゴリズムの根幹をなしていること。

提案手法

• 最初のアルゴリズムである SkyLowDim は、座標の分位数に基づいて点をバケットに割り当てるランダムサンプリングを用い、スカイラインの整合性を高確率で保ちながら入力サイズを削減する。
• スカイラインサイズ $\hat{k}$ の推定値を超指数的に増加させる再帰的バケット化戦略を採用し、高コストなリトライを回避することで、全体のクエリ複雑度を制限する。
• 2番目のアルゴリズムである SkyHighDim は、支配される点を繰り返し削除するアプローチを採用し、ノイズのある比較を活用して支配関係の信頼性を維持する。
• 主なサブルーチンである NoisyFirstTrue は、ノイズのあるブール論理和における最初の真値を特定するもので、次元ごとの支配関係を効率的にテストするために使用される。
• アルゴリズムは信頼性を保つ設計となっており、誤差確率が既に $1/3$ 未満に抑えられている場合、$\delta$ に依存しなくなるように設計されており、実用的な効率性が向上する。
• 理論的解析では、確率的集中不等式と再帰的コスト分解を組み合わせ、総クエリ数と実行時間の上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 定数次元 $d$ に対して、ノイズのある比較が存在する中で、$o(nk)$ クエリでスカイラインを計算することは可能か？
• RQ2 特にスカイラインサイズ $k$ が小さい場合に、ノイズのある比較モデルにおけるスカイライン計算の最適なクエリ複雑度は何か？
• RQ3 ノイズのある比較下でも、$k$ に依存する出力感度の複雑度が $n$ に依存しない形で達成可能か？
• RQ4 誤差確率が既に $1/2$ から離れている場合、クエリ複雑度を $\delta$ に依存させないで済ませることは可能か？
• RQ5 ノイズのあるモデルにおいて、誤差を有界に保ちながらスカイラインを計算するために必要なクエリ数の情報理論的下界は何か？

主な発見

• 本稿では、$d \leq k^c$ である定数 $c$ に対して、ノイズのある比較モデルにおけるスカイライン計算のタイトなクエリ複雑度 $\Omega(nd\log k)$ を確立し、これが最適であることを証明した。
• 提案されたアルゴリズム SkyLowDim は $O(nd\log(dk/\delta))$ のクエリ複雑度を達成し、低次元設定において最適であり、従来の最先端技術に比べて $k$ 倍の改善を達成した。
• アルゴリズム SkyHighDim は $O(ndk\log(k/\delta))$ のクエリ複雑度を達成し、これにより従来の境界をさらに改善し、2番目の出力感度アプローチを提供した。
• 本稿は [18] における未解決問題を解決し、定数 $d$ に対して $o(nk)$ クエリでスカイライン計算が可能であることを示した。$O(ndk\log(k/\delta))$ が達成可能かつ最適であることを確認した。
• 著者らは、SkyLowDim がノイズなしの設定に適応可能であり、$O(nd\log(dk))$ のクエリ複雑度を達成できることを示した。これはそのモデルにおける最適な複雑度である。