[論文レビュー] Asymptotically exact streaming algorithms

Marc Heinrich, Alexander Munteanu+1 more|arXiv (Cornell University)|Aug 8, 2014

Stochastic Gradient Optimization Techniques参考文献 27被引用数 4

ひとこと要約

本稿は、ストリーム長が増加するにつれて近似比が1に近づく、一回読み込みでpolylogarithmicなメモリを用いる漸近的に正確なストリーミングアルゴリズムを導入する。著者らは、入力にやや厳しい仮定を課した場合に、周波数モーメント、クラスタリング、回帰の問題に対して肯定的な結果を確立する一方で、データに構造的制約がないとこのような改善が不可能であることを示すタイトな空間下界を証明する。

ABSTRACT

We introduce a new computational model for data streams: asymptotically exact streaming algorithms. These algorithms have an approximation ratio that tends to one as the length of the stream goes to infinity while the memory used by the algorithm is restricted to polylog(n) size. Thus, the output of the algorithm is optimal in the limit. We show positive results in our model for a series of important problems that have been discussed in the streaming literature. These include computing the frequency moments, clustering problems and least squares regression. Our results also include lower bounds for problems, which have streaming algorithms in the ordinary setting but do not allow for sublinear space algorithms in our model.

研究の動機と目的

• ストリーム長が無限大に近づくにつれて近似誤差が消える新しいストリーミングアルゴリズムの計算モデルを形式化すること。
• 多項式対数時間のメモリ制約のもとで、近似誤差が0に近づくような基本的なストリーミング問題がどの程度存在するかを特定すること。
• 回帰やクラスタリング問題において漸近的に正確さを達成するために必要な入力ストリームの構造的仮定を同定すること。このモデルにおいて、本質的に制限を受ける問題とそうでない問題を区別すること。
• 回帰とクラスタリングの空間計算量下界をタイトに証明し、例えば最小特異値が発散する、または行単位の入力順序であるといった仮定が不可欠であることを示すこと。
• $(1\pm\varepsilon)$-近似が標準モデルで可能であるにもかかわらず、漸近的に正確な解法が可能な問題と不可能な問題の境界を明らかにすること。

提案手法

• 近似誤差が$ n \to \infty $のとき確率的に$\frac{V(s^{(n)})}{V(s^{(n)}_{\text{opt}})} \to 1$に収束する一回読み込みアルゴリズムを、$\operatorname{polylog}(n)$のメモリを用いるものとして、漸近的に正確なストリーミングアルゴリズムとして定義する。
• 既存の$F_2$周波数モーメント推定のストリーミングアルゴリズムを、追加の仮定なしに適応し、漸近的に正確性を証明する。
• 回帰やクラスタリングにおける漸近的正確さを可能にするために、入力ストリームに構造的仮定（例：最小特異値が発散する、行単位の順序）を導入する。
• インデクシング問題への還元を用いて空間下界を証明し、最小二乗回帰において、特定の条件下では$\Omega(nd)$のメモリが必要であることを示す。
• 通信複雑性の議論を用いて、増加する精度を模倣するように変更された行列・ベクトル入力$A'$, $b'$を構築し、メモリ下界を強制する。
• 仮定を緩和すると、最小特異値が発散しても漸近的正確さが失敗することを示すことにより、仮定の必要性を証明する。

実験結果

リサーチクエスチョン

• RQ1 多項式対数時間のメモリ制約のもとで、どの基本的なストリーミング問題が漸近的に正確なアルゴリズムを持つのか？
• RQ2 回帰やクラスタリング問題において、漸近的正確さを達成するために必要な入力ストリームの構造的仮定は何か？
• RQ3 $k$-meansや$k$-medianに対しては存在するが、$k$-centerクラスタリングに対しては、漸近的に正確なアルゴリズムを設計可能か？
• RQ4 漸近的に正確なモデルにおける空間計算量下界は、標準ストリーミングモデルにおけるものとどのように比較されるか？
• RQ5 本モデルにおいて、頻度の高いアイテムのカウントやグラフストリーミングのような問題について、漸近的正確さを達成することは可能か？

主な発見

• $F_2$周波数モーメントは、追加の仮定なしに、多項式対数時間のメモリを用いたストリーミングモデルで漸近的に正確に推定可能である。
• 標準モデルで$(1\pm\varepsilon)$-近似が可能でも、$F_0$周波数モーメントには漸近的に正確なストリーミングアルゴリズムが存在しない。
• 単一の点が解に支配的にならないようなやや厳しい仮定のもとで、$k$-meansおよび$k$-medianクラスタリングの漸近的正確なアルゴリズムが存在する。
• 最小二乗回帰において、最小特異値が発散しても、最悪ケースでは$\Omega(nd)$のメモリが必要であり、入力が行単位の順序で与えられない限り、部分線形空間の漸近的正確さは達成できない。
• 通信複雑性の下界により、回帰における部分線形空間の漸近的正確さを達成するには、入力が行単位の順序で処理されることの仮定が不可欠であることが示された。
• 最小特異値が発散することは、回帰における部分線形空間の漸近的正確さのための十分条件ではなく、行単位の順序仮定も同時に必要である。