[論文レビュー] Balancing Gaussian vectors in high dimension

Paxton Turner, Raghu Meka+1 more|arXiv (Cornell University)|Oct 30, 2019

Machine Learning and Algorithms参考文献 43被引用数 6

ひとこと要約

本稿は、列数 $ n $ が行数 $ m $ より著しく大きい場合の i.i.d. 標準正規分布に従うランダムなガウス行列の乖離について研究している。第二モーメント法を用いて非漸近的境界を確立し、$ m = O(√{\log n}) $ の場合に $ e^{-\Omega(\log^2 n / m)} $ の非定数乖離を達成する多項式時間の確率的アルゴリズムを提示している。これは、高次元において $ \sqrt{m} $ より小さい乖離を達成する最初の効率的アルゴリズムを提供する。

ABSTRACT

Motivated by problems in controlled experiments, we study the discrepancy of random matrices with continuous entries where the number of columns $n$ is much larger than the number of rows $m$. Our first result shows that if $ω(1) = m = o(n)$, a matrix with i.i.d. standard Gaussian entries has discrepancy $Θ(\sqrt{n} \, 2^{-n/m})$ with high probability. This provides sharp guarantees for Gaussian discrepancy in a regime that had not been considered before in the existing literature. Our results also apply to a more general family of random matrices with continuous i.i.d entries, assuming that $m = O(n/\log{n})$. The proof is non-constructive and is an application of the second moment method. Our second result is algorithmic and applies to random matrices whose entries are i.i.d. and have a Lipschitz density. We present a randomized polynomial-time algorithm that achieves discrepancy $e^{-Ω(\log^2(n)/m)}$ with high probability, provided that $m = O(\sqrt{\log{n}})$. In the one-dimensional case, this matches the best known algorithmic guarantees due to Karmarkar--Karp. For higher dimensions $2 \leq m = O(\sqrt{\log{n}})$, this establishes the first efficient algorithm achieving discrepancy smaller than $O( \sqrt{m} )$.

研究の動機と目的

• 列数 $ n $ が行数 $ m $ より著しく大きい場合の i.i.d. ガウス行列の乖離を分析すること。この領域は、これまで十分に研究されていなかった。
• 第二モーメント法を用いて、$ m = o(n) $ の条件下で非漸近的かつ高確率的な乖離の境界を確立すること。
• リプシッツ連続密度を持つ i.i.d. なエントリを持つ行列に対して、低乖離を達成する確率的多項式時間アルゴリズムを開発すること。
• 1次元の場合を越えてアルゴリズム的保証を拡張し、高次元において $ \sqrt{m} $ より小さい乖離を達成すること。
• 理論的乖離境界と実用的な実験設計を結びつけるために、保証付きのバランスの取れたランダムな割り当てを提供すること。

提案手法

• 第二モーメント法を用いて、$ m = o(n) $ の条件下で i.i.d. ガウス行列の乖離に対する高確率的境界を導出する。
• このような行列の乖離が高確率で $ \Theta(\sqrt{n} \, 2^{-n/m}) $ であることを証明する。
• 乖離最小化のための GKKフレームワーク（Garg–Kale–Kumar）に基づく確率的多項式時間アルゴリズムを適用する。
• 各フェーズで三角分布を持つベクトルの集合を維持する再帰的差分プロシージャ（PRDC）を用いる。
• 条件付き独立性および周辺化の議論を用いて、出力ベクトルが同分布かつ最終的な符号ベクトルとは独立であることを示す。
• エントリ密度のリプシッツ連続性に依存して、各フェーズにおける差分の分布の集中と制御を保証する。

実験結果

リサーチクエスチョン

• RQ1 列数 $ n $ が行数 $ m $ より著しく大きい場合、$ m \times n $ の i.i.d. 標準正規分布に従う行列の典型的な乖離は何か？
• RQ2 第二モーメント法を用いて、高次元的領域 $ m = o(n) $ において、鋭い非漸近的境界を導出できるか？
• RQ3 高次元 $ m \geq 2 $ において、$ O(\sqrt{m}) $ より小さい乖離を達成する多項式時間のアルゴリズムは存在するか？
• RQ4 $ m = O(\sqrt{\log n}) $ の場合、乖離はどのようにスケーリングされ、このスケーリングをアルゴリズム的に達成できるか？
• RQ5 理論的乖離境界は、ガウス分布を越えて、より広い連続的 i.i.d. エントリ分布のクラスへ拡張可能か？

主な発見

• $ m = o(n) $ の場合、$ m \times n $ の i.i.d. ガウス行列の乖離は高確率で $ \Theta(\sqrt{n} \, 2^{-n/m}) $ である。
• 第二モーメント法は、$ m = O(n / \log n) $ の領域において、一般の連続的 i.i.d. エントリ分布のクラスに対して鋭い境界を効果的に得られる。
• $ m = O(\sqrt{\log n}) $ の場合に、確率的多項式時間アルゴリズムが高確率で $ e^{-\Omega(\log^2 n / m)} $ の乖離を達成する。
• このアルゴリズム的結果は、高次元における既存の保証を改善し、$ \sqrt{m} $ より小さい乖離を効率的に達成する最初の結果である。
• このアルゴリズムは1次元の場合の最良の保証を再現し、Karmarkar–Karpの結果を回復する。
• 解析により、アルゴリズムの各フェーズにおける出力ベクトルが i.i.d. であり、三角分布に従い、最終的な符号ベクトルがデータとは独立であることが示された。