[论文解读] Deterministic Discrepancy Minimization via the Multiplicative Weight Update Method

Avi Levy, Harishchandra Ramadas+1 more|arXiv (Cornell University)|Nov 26, 2016

Mathematical Approximation and Integration参考文献 15被引用 4

一句话总结

该论文提出了一种基于乘性权重更新（MWU）方法的确定性多项式时间算法，用于实现不均性最小化，其灵感来源于Lovett-Meka和Spencer的局部着色方法。该算法在块大小为 $ q $ 的 $ n \times n $ 块对角矩阵上实现了 $ O(\tilde{O}(\mathrm{polylog}(n))) $ 的不均性界，并首次提供了在 $ A $ 的列向量的 $ \ell_2 $-范数至多为 1 时，寻找满足 $ \|Ax\|_\infty \leq O(\sqrt{\log n}) $ 的 $ \pm 1 $-向量的确定性算法。

ABSTRACT

A well-known theorem of Spencer shows that any set system with $n$ sets over $n$ elements admits a coloring of discrepancy $O(\sqrt{n})$. While the original proof was non-constructive, recent progress brought polynomial time algorithms by Bansal, Lovett and Meka, and Rothvoss. All those algorithms are randomized, even though Bansal's algorithm admitted a complicated derandomization. We propose an elegant deterministic polynomial time algorithm that is inspired by Lovett-Meka as well as the Multiplicative Weight Update method. The algorithm iteratively updates a fractional coloring while controlling the exponential weights that are assigned to the set constraints. A conjecture by Meka suggests that Spencer's bound can be generalized to symmetric matrices. We prove that $n imes n$ matrices that are block diagonal with block size $q$ admit a coloring of discrepancy $O(\sqrt{n} \cdot \sqrt{\log(q)})$. Bansal, Dadush and Garg recently gave a randomized algorithm to find a vector $x$ with entries in $\lbrace{-1,1 brace}$ with $\|Ax\|_{\infty} \leq O(\sqrt{\log n})$ in polynomial time, where $A$ is any matrix whose columns have length at most 1. We show that our method can be used to deterministically obtain such a vector.

研究动机与目标

• 开发一种用于不均性最小化的确定性多项式时间算法，以克服先前随机化方法的局限性。
• 将乘性权重更新方法的适用范围扩展至具有可证明保证的组合不均性问题。
• 解决在结构化矩阵（特别是块对角矩阵）上确定性实现Spencer型界这一开放问题。
• 为Bansal、Lovett-Meka和Rothvoss等人的随机算法提供一种确定性替代方案，尤其针对 $ \ell_\infty $-范数不均性问题。
• 证明MWU框架可被调整以控制约束上的指数权重，同时保持低不均性局部着色。

提出的方法

• 该算法使用一个势函数 $ \Phi^{(t)} = \mathrm{Tr}\left[\exp\left(\varepsilon \sum_{i=1}^n (x_i^{(t)} - x_i^{(0)}) A_i \right)\right] $ 来追踪进展并控制约束违反。
• 在每次迭代中，算法识别出一个维度至少为 $ n/4 $ 的子空间 $ U^{(t)} $，其由五个线性约束定义：活跃变量、和为零、块约束以及矩阵加权正交性。
• 更新方向 $ y^{(t)} $ 被选为 $ U^{(t)} $ 中的单位向量，缩放因子为 $ \delta = 1/\sqrt{n} $，以确保迭代点保持在 $ [-1,1]^n $ 内。
• 该算法维护一个分数着色 $ x^{(t)} $，逐步向至少一半坐标进入 $ \{-1,1\} $ 的点移动，步长设计兼顾收敛性与可行性。
• 它利用一个关键引理（引理14）来计算一个低失真子空间 $ U $，使得二次型 $ \sum y_i A_i $ 的算子范数有界，从而确保势函数的稳定性。
• 该方法将MWU风格的权重更新与不均性理论中的几何约束相结合，通过在矩阵约束上使用指数权重，引导搜索过程趋向低不均性解。

实验结果

研究问题

• RQ1 能否将乘性权重更新方法调整为在组合设置下实现不均性最小化的确定性算法？
• RQ2 MWU框架是否允许对列范数有界的矩阵实现 $ \ell_\infty $-不均性问题的构造性、多项式时间解法？
• RQ3 该算法能否在块大小为 $ q $ 的 $ n \times n $ 块对角矩阵上实现 $ O(\sqrt{n} \sqrt{\log q}) $ 的不均性界，以匹配Meka的猜想？
• RQ4 是否可能在确定性条件下找到一个 $ \pm 1 $-向量 $ x $，使得当 $ \|A_i\|_2 \leq 1 $ 时，有 $ \|Ax\|_\infty \leq O(\sqrt{\log n}) $，对任意矩阵 $ A $ 成立？
• RQ5 如何设计势函数与子空间约束，以确保增长有界并收敛至完整的 $ \pm 1 $-着色？

主要发现

• 该算法在 $ O(n^5 + n^4 m^3) $ 时间内计算出至少 $ n/2 $ 个坐标位于 $ \{-1,1\} $ 的局部着色，对块大小为 $ q $ 的块对角矩阵实现不均性 $ O(\sqrt{n \log(2qm/n)}) $。
• 势函数 $ \Phi^{(t)} $ 每轮迭代最多增长为 $ (1 + 16\varepsilon^2 \delta^2) $ 倍，确保在 $ T \leq 2n / \delta^2 $ 步内增长受控。
• 在终止时，矩阵 $ \sum_{i=1}^n (x_i^{(T)} - x_i^{(0)}) A_i $ 的最大奇异值被限制为 $ O(\sqrt{n \log(2qm/n)}) $，从而推出所需的不均性界。
• 对于块大小为 $ q $ 的 $ n \times n $ 块对角矩阵，该算法实现了 $ O(\sqrt{n} \sqrt{\log q}) $ 的不均性界，支持了Meka在该结构化情形下的猜想。
• 该方法确定性地构造出一个 $ \pm 1 $-向量 $ x $，使得对任意列 $ \ell_2 $-范数至多为 1 的矩阵 $ A $，有 $ \|Ax\|_\infty \leq O(\sqrt{\log n}) $，与Bansal、Dadush和Garg的随机界一致。
• 该算法的分析依赖于一个新颖的子空间构造（引理14），其确保矩阵更新中二次误差有界，从而使得势函数能够被紧密控制。