[論文レビュー] Streaming Symmetric Norms via Measure Concentration

Jarosław Błasiok, Vladimir Braverman+3 more|arXiv (Cornell University)|Nov 3, 2015

Complexity and Algorithms in Graphs参考文献 37被引用数 6

ひとこと要約

この論文は、測度濃縮を用いて対称ノルムのストリーミング空間複雑性をタイトに特徴づけ、任意の対称ノルムを (1±ϵ) 範囲で近似する際の空間複雑性が、l2単位球面上でのノルムの最大値と中央値の比として定義される、そのノルムの濃縮モジュラスにタイトに依存することを示している。主な結果は、空間複雑性が Θ(mc(l)² log n) に比例するほぼ最適な (1±ϵ)-近似アルゴリズムの構築であり、部分線形アルゴリズムにおけるユニバーサルスケッチとスケッチ可能距離に関する未解決問題を解消した。

ABSTRACT

We characterize the streaming space complexity of every symmetric norm $l$ (a norm on $\mathbb{R}^n$ invariant under sign-flips and coordinate-permutations), by relating this space complexity to the measure-concentration characteristics of $l$. Specifically, we provide nearly matching upper and lower bounds on the space complexity of calculating a $(1\pmε)$-approximation to the norm of the stream, for every $02$. In addition, we apply our general results to easily derive bounds for several norms that were not studied before in the streaming model, including the top-$k$ norm and the $k$-support norm, which was recently employed for machine learning tasks. Overall, these results make progress on two outstanding problems in the area of sublinear algorithms (Problems 5 and 30 in~\url{http://sublinear.info}).

研究の動機と目的

• 部分線形アルゴリズムにおけるユニバーサルスケッチとスケッチ可能距離に関する未解決問題を解消すること。
• ストリーミングモデルにおいて任意の対称ノルムを近似するための汎用フレームワークを提供すること。
• 特に l2 単位球面上での中央値と最大値に着目した測度濃縮の性質を用いて、対称ノルムのストリーミング空間複雑性を特徴づけること。
• 従来の lp ノルムに関する既知の結果を、これまでストリーミング文脈で研究されていなかった新たな対称ノルム（例：トップ-k ノルムや k-サポート ノルム）へと拡張すること。

提案手法

• 濃縮モジュラス mc(l) = bl / Ml を定義する。ここで bl はノルム l が l2 単位球面上でとる最大値、Ml はその中央値である。
• 特に球面上の測度濃縮現象を用いて、ストリーミングアルゴリズムの空間複雑性を評価する。
• 空間複雑性 s に対して、サイズ s · poly(log n / ϵ) のユニバーサルスケッチを構築し、任意の対称ノルムに対して (1±ϵ)-近似を可能にする。
• ノルムの双対性と対称性、特に Q-ノルムとその双対を用いて、タイトな境界を導出する。
• 高次元幾何学の技術、特に Dvoretzky の定理と大偏差確率の境界を応用し、幾何的性質とアルゴリズム的複雑性を関連付ける。
• 可逆線形写像による還元と変換を用いて、対称ノルムを超えた結果を拡張し、空間複雑性がこのような変換に対して不変であることを示す。

実験結果

リサーチクエスチョン

• RQ1 任意の対称ノルムのストリーミング空間複雑性は何か？ そして、ノルムの幾何的性質に基づいて特徴づけられるか？
• RQ2 近似的に最適な空間複雑性で、すべての対称ノルムに対して (1±ϵ)-近似を可能にする、1つのユニバーサルスケッチを構築できるか？
• RQ3 近似比 D ≥1 に対して、空間複雑性はどのようにスケーリングするか？ そして D⁻² 依存は最適か？
• RQ4 なぜ p > 2 の lp ノルムは p ≤2 のものよりも著しく多くの空間を要するのか？ そして、この現象を一貫した形で説明できるか？
• RQ5 濃縮モジュラス mc(l) は、対称ノルムを超えてストリーミングノルムの普遍的複雑性パラメータとして用いられるか？

主な発見

• 任意の対称ノルム l に対して、(1±ϵ)-近似のストリーミング空間複雑性は、poly(ϵ⁻¹ log n) 要素を除き Θ(mc(l)² log n) にタイトに特徴づけられる。
• 近似比 D ≥1 に対して、空間複雑性は D⁻² に比例して減少し、この依存関係は最適である。
• 濃縮モジュラス mc(l) = bl / Ml が複雑性を支配し、ここで Ml はノルム l が l2 単位球面上での中央値である。
• 本論文は、Open Problem 30（ユニバーサルスケッチ）を解決し、対称ノルムが空間複雑性 s に対してサイズ s · poly(log n / ϵ) のユニバーサルスケッチを有することを示した。
• 従来ストリーミング文脈で研究されていなかった k-サポート ノルムとトップ-k ノルムについても、それらの mc(l) に起因する空間複雑性が同定され、効率的な近似が可能であることが示された。
• 結果は、対角行列への制限を用いてユニタリに不変な行列ノルムへと拡張可能であり、可逆線形写像 lA = l(A·) を通じた変換されたノルムに対しても、空間複雑性が保存されることを示した。