[論文レビュー] Deterministic Discrepancy Minimization via the Multiplicative Weight Update Method

Avi Levy, Harishchandra Ramadas+1 more|arXiv (Cornell University)|Nov 26, 2016

Mathematical Approximation and Integration参考文献 15被引用数 4

ひとこと要約

この論文は、Lovett-MekaとSpencerの部分色分けアプローチにインspiredされた、乗法的重み更新（MWU）法を用いた決定的多項式時間アルゴリズムを提示する。$ n \times n $ ブロック対角行列（ブロックサイズ $ q $）に対して、$ O(\tilde{O}(\mathrm{polylog}(n)) $ の不均衡度を達成し、$ A $ の列の $ \ell_2 $-ノルムが 1 未満である場合に、$ \|Ax\|_\infty \leq O(\sqrt{\log n}) $ を満たす $ \pm 1 $-ベクトルを求める最初の決定的アルゴリズムを提供する。

ABSTRACT

A well-known theorem of Spencer shows that any set system with $n$ sets over $n$ elements admits a coloring of discrepancy $O(\sqrt{n})$. While the original proof was non-constructive, recent progress brought polynomial time algorithms by Bansal, Lovett and Meka, and Rothvoss. All those algorithms are randomized, even though Bansal's algorithm admitted a complicated derandomization. We propose an elegant deterministic polynomial time algorithm that is inspired by Lovett-Meka as well as the Multiplicative Weight Update method. The algorithm iteratively updates a fractional coloring while controlling the exponential weights that are assigned to the set constraints. A conjecture by Meka suggests that Spencer's bound can be generalized to symmetric matrices. We prove that $n imes n$ matrices that are block diagonal with block size $q$ admit a coloring of discrepancy $O(\sqrt{n} \cdot \sqrt{\log(q)})$. Bansal, Dadush and Garg recently gave a randomized algorithm to find a vector $x$ with entries in $\lbrace{-1,1 brace}$ with $\|Ax\|_{\infty} \leq O(\sqrt{\log n})$ in polynomial time, where $A$ is any matrix whose columns have length at most 1. We show that our method can be used to deterministically obtain such a vector.

研究の動機と目的

• 先行の確率的アプローチの制限を克服する決定的多項式時間アルゴリズムを、不均衡度最小化のために開発すること。
• 乗法的重み更新法を、保証付きの組合せ的不均衡度問題へと拡張すること。
• 特にブロック対角行列を含む構造的行列に対して、Spencer型の境界を決定的に達成するという未解決問題を解決すること。
• Bansal, Lovett-Meka, Rothvossらの確率的アルゴリズムの決定的代替案を提供すること、特に $ \ell_\infty $-ノルム不均衡度問題に対して。
• MWUフレームワークが、指数的重みを制御しつつも、低不均衡度部分色分けを保証するように適応可能であることを示すこと。

提案手法

• 進捗と制約違反の制御を追跡するため、潜在関数 $ \Phi^{(t)} = \mathrm{Tr}\left[\exp\left(\varepsilon \sum_{i=1}^n (x_i^{(t)} - x_i^{(0)}) A_i \right)\right] $ を使用する。
• 各反復で、5つの線形制約（活性変数、ゼロ和、ブロック制約、行列重み付き直交性）によって定義される次元が $ n/4 $ 以上の部分空間 $ U^{(t)} $ を特定する。
• 更新方向 $ y^{(t)} $ は、$ U^{(t)} $ 内の単位ベクトルとして選ばれ、$ \delta = 1/\sqrt{n} $ でスケーリングされ、反復が $ [-1,1]^n $ の範囲に留まるように保証される。
• アルゴリズムは、分数色分け $ x^{(t)} $ を維持し、少なくとも半数の座標が $ \{-1,1\} $ に近づくように段階的に移動させ、収束性と妥当性の両立を図るステップサイズを用いる。
• キーレイマ（補題14）を活用し、2次形式 $ \sum y_i A_i $ の作用素ノルムが有界になる低歪み部分空間 $ U $ を計算することで、潜在関数の安定性を保証する。
• MWUスタイルの重み更新と、不均衡度理論からの幾何的制約を組み合わせ、行列制約に指数的重みを適用することで、低不均衡度解への探索を導く。

実験結果

リサーチクエスチョン

• RQ1 乗法的重み更新法を、組合せ的状況における不均衡度最小化の決定的アルゴリズムに適応可能か？
• RQ2 MWUフレームワークが、列ノルムが有界な行列の $ \ell_\infty $-不均衡度問題に対して、構成的かつ多項式時間解を得ることを可能にするか？
• RQ3 $ n \times n $ ブロック対角行列（ブロックサイズ $ q $）に対して、$ O(\sqrt{n} \sqrt{\log q}) $ の不均衡度を達成できるか、Mekaの予想を支持するか？
• RQ4 任意の行列 $ A $ に対して、$ \|A_i\|_2 \leq 1 $ の下で、$ \|Ax\|_\infty \leq O(\sqrt{\log n}) $ を満たす $ \pm 1 $-ベクトル $ x $ を決定的に見つけられるか？
• RQ5 潜在関数と部分空間制約をどのように設計すれば、成長の有界性と完全な $ \pm 1 $-色分けへの収束を両立できるか？

主な発見

• アルゴリズムは、時間 $ O(n^5 + n^4 m^3) $ で、少なくとも $ n/2 $ 個の座標が $ \{-1,1\} $ にある部分色分けを計算し、ブロックサイズ $ q $ のブロック対角行列に対して $ O(\sqrt{n \log(2qm/n)}) $ の不均衡度を達成する。
• 潜在関数 $ \Phi^{(t)} $ は、各反復で最大で $ (1 + 16\varepsilon^2 \delta^2) $ 倍にしか増加しないため、$ T \leq 2n / \delta^2 $ ステップの間、成長が制御される。
• 終了時、行列 $ \sum_{i=1}^n (x_i^{(T)} - x_i^{(0)}) A_i $ の最大特異値は $ O(\sqrt{n \log(2qm/n)}) $ で有界であり、これが望ましい不均衡度境界を示唆する。
• $ n \times n $ 行列がブロック対角でブロックサイズが $ q $ の場合、アルゴリズムは $ O(\sqrt{n} \sqrt{\log q}) $ の不均衡度を達成し、この構造的ケースで Meka の予想を支持する。
• アルゴリズムは、任意の行列 $ A $ に対して、列の $ \ell_2 $-ノルムが 1 未満である場合に、$ \|Ax\|_\infty \leq O(\sqrt{\log n}) $ を満たす $ \pm 1 $-ベクトル $ x $ を決定的に構築する。これは、Bansal, Dadush, Garg の確率的境界と一致する。
• アルゴリズムの解析は、2次誤差の有界性を保証する新しい部分空間構成（補題14）に依存しており、潜在関数のきめ細やかな制御を可能にする。