[論文レビュー] Sparse Polynomial Learning and Graph Sketching

Murat Kocaoglu, Karthikeyan Shanmugam+2 more|arXiv (Cornell University)|Feb 17, 2014

Machine Learning and Algorithms参考文献 16被引用数 6

ひとこと要約

本稿では、高々 $ s $ 個の非ゼロ係数を持つスパースなブール多項式を、一意な符号性質（係数に微小な摂動を加えるか、すべて正である場合に保証される）のもとで、正確に再構築する多項式時間のアルゴリズムを提示する。この手法は一様なランダム例を用い、グラフスケッチを応用してランダムカットからのスパースハイパーグラフを学習し、$ \mathrm{poly}(n, 2^s) $ 時間で高い確率で正確な再構築を達成する。

ABSTRACT

Let $f:\{-1,1\}^n$ be a polynomial with at most $s$ non-zero real coefficients. We give an algorithm for exactly reconstructing f given random examples from the uniform distribution on $\{-1,1\}^n$ that runs in time polynomial in $n$ and $2s$ and succeeds if the function satisfies the unique sign property: there is one output value which corresponds to a unique set of values of the participating parities. This sufficient condition is satisfied when every coefficient of f is perturbed by a small random noise, or satisfied with high probability when s parity functions are chosen randomly or when all the coefficients are positive. Learning sparse polynomials over the Boolean domain in time polynomial in $n$ and $2s$ is considered notoriously hard in the worst-case. Our result shows that the problem is tractable for almost all sparse polynomials. Then, we show an application of this result to hypergraph sketching which is the problem of learning a sparse (both in the number of hyperedges and the size of the hyperedges) hypergraph from uniformly drawn random cuts. We also provide experimental results on a real world dataset.

研究の動機と目的

• 一様分布下でのランダム例のみを用いて、$ \{-1,1\}^n $ 上の $ s $-スパース多項式を学習するという、長年の未解決問題に取り組むこと。
• スパース多項式学習が tractable になる自然な条件を同定し、最悪ケースの非効率性を克服すること。
• 学習フレームワークをハイパーグラフスケッチに応用すること——ランダムカットからスパースハイパーグラフを再構築すること。
• ヤフー!メッセンジャーメッセージなどの実世界データセットにおいて、この手法の有効性を示すこと。

提案手法

• 一意な符号性質を活用：関数値がその活性パリティ関数の符号を一意に特定可能であり、これにより効率的な再構築が可能になる。
• 集合 $ \{-1,1\}^n $ 上の一様分布からのランダムサンプリングを用い、未知関数へのクエリアクセスを回避する。
• サンプルデータから相関行列 $ \mathbf{R} $ を構築し、高い内積値によってハイパーエッジ内での変数の共起を同定する。
• 行列 $ \mathbf{R} $ に対するしきい値処理により関連変数および連結成分を検出し、その後関連変数上のすべての可能なパリティ関数と相関をとる。
• 集中不等式（例：ホフディングの不等式）を用いて推定誤差を抑え、高い確率での正しさを保証する。
• 線形測定を介して圧縮センシングに問題を還元するが、一意な符号性質から得られる構造的制約を活用することで、指数時間の回避を図る。

実験結果

リサーチクエスチョン

• RQ1 ランダム例のみを用いて、$ n $ および $ 2^s $ の多項式時間で $ s $-スパースブール多項式を学習可能な条件は何か？
• RQ2 係数に小さな独立同一分布のガウスノイズを加える場合、一意な符号性質は実際の状況でも保証されるか？
• RQ3 一様ランダムカットからスパースハイパーグラフをどのように再構築できるか？また、そのサンプル数および時間計算量は？
• RQ4 ターゲット関数が近似的にスパースである場合、特にノイズが加わった状況でも、このアルゴリズムはロバストであるか？

主な発見

• アルゴリズムは、一意な符号性質を満たす任意の $ s $-スパース多項式を、高い確率で $ \mathrm{poly}(n, 2^s) $ 時間で学習可能である。
• 係数に小さな i.i.d. ガウスノイズを加えると、一意な符号性質は確率 1 で成立し、滑らかさ解析の成功を保証する。
• ハイパーグラフスケッチにおいて、この手法は $ O(2^k d \log n + 2^{2d+1} s^2 (\log n + k)) $ 個のサンプルを用いて、スパースハイパーグラフの構造を再構築可能である（$ k $ は関連変数の数）。
• 実行時間は $ O(n^2 d \log n + 2^{2k} d \log n + 2^k \cdot 2^{2d+1} s^2 (\log n + k)) $ であり、正確な再構築の確率は高い。
• ノイズに対してロバストである：$ f = f_1 + f_2 $ で $ \|f_2\|_1 \leq \nu $ かつ加法的ノイズが $ \epsilon $ 以下であるとき、$ \|f - g\|_2 \leq O(\nu + \epsilon) $ を達成する。
• ヤフー!メッセンジャーデータにおける実験結果から、この手法が実世界のスパースハイパーグラフ構造に対して有効であることが確認された。