[논문 리뷰] Deterministic Discrepancy Minimization via the Multiplicative Weight Update Method

Avi Levy, Harishchandra Ramadas외 1명|arXiv (Cornell University)|2016. 11. 26.

Mathematical Approximation and Integration참고 문헌 15인용 수 4

한 줄 요약

이 논문은 Lovett-Meka와 Spencer의 부분 색칠 접근 방식에 영감을 받아, Multiplicative Weight Update (MWU) 방법을 사용하여 결정론적 다항 시간 알고리즘을 제시한다. 이 알고리즘은 크기 $ q $인 블록 크기를 가진 $ n \times n $ 블록 대각 행렬에 대해 $ O(\tilde{O}(\text{polylog}(n))) $의 불일치 한계를 달성하며, $ A $의 열의 $ \ell_2 $-노름이 1 이하일 때 $ \|Ax\|_\infty \leq O(\sqrt{\log n}) $ 를 만족하는 $ \pm 1 $-벡터를 찾는 데 있어 첫 번째 결정론적 알고리즘이다.

ABSTRACT

A well-known theorem of Spencer shows that any set system with $n$ sets over $n$ elements admits a coloring of discrepancy $O(\sqrt{n})$. While the original proof was non-constructive, recent progress brought polynomial time algorithms by Bansal, Lovett and Meka, and Rothvoss. All those algorithms are randomized, even though Bansal's algorithm admitted a complicated derandomization. We propose an elegant deterministic polynomial time algorithm that is inspired by Lovett-Meka as well as the Multiplicative Weight Update method. The algorithm iteratively updates a fractional coloring while controlling the exponential weights that are assigned to the set constraints. A conjecture by Meka suggests that Spencer's bound can be generalized to symmetric matrices. We prove that $n imes n$ matrices that are block diagonal with block size $q$ admit a coloring of discrepancy $O(\sqrt{n} \cdot \sqrt{\log(q)})$. Bansal, Dadush and Garg recently gave a randomized algorithm to find a vector $x$ with entries in $\lbrace{-1,1 brace}$ with $\|Ax\|_{\infty} \leq O(\sqrt{\log n})$ in polynomial time, where $A$ is any matrix whose columns have length at most 1. We show that our method can be used to deterministically obtain such a vector.

연구 동기 및 목표

• 기존의 랜덤화된 접근 방식의 한계를 극복하여, 불일치 최소화를 위한 결정론적 다항 시간 알고리즘을 개발하는 것.
• 다양한 보장이 있는 조합적 불일치 문제에 대해 다중 가중치 업데이트 방법의 적용 범위를 확장하는 것.
• 특히 블록 대각 행렬에 대해 스펜서 유형의 한계를 결정론적으로 달성하는 문제를 해결하는 것.
• Bansal, Lovett-Meka, Rothvoss 등의 랜덤화 알고리즘에 대한 결정론적 대안을 제공함으로써, 특히 $ \ell_\infty $-노름 불일치 문제에 대해 해결하는 것.
• MWU 프레임워크가 제약 조건에 대해 지수적 가중치를 제어하면서도 낮은 불일치 부분 색칠을 유지할 수 있도록 조정할 수 있음을 증명하는 것.

제안 방법

• 진행 상황과 제약 위반을 제어하기 위해 잠재 함수 $ \Phi^{(t)} = \mathrm{Tr}\left[\exp\left(\varepsilon \sum_{i=1}^n (x_i^{(t)} - x_i^{(0)}) A_i \right)\right] $ 를 사용한다.
• 각 반복 단계에서, 활성 변수, 합이 0인 조건, 블록 제약 조건, 행렬 가중 직교 조건의 다섯 가지 선형 제약 조건으로 정의된 차원이 최소 $ n/4 $ 이상인 부분공간 $ U^{(t)} $ 를 식별한다.
• 업데이트 방향 $ y^{(t)} $ 는 $ U^{(t)} $ 내의 단위 벡터로, $ \delta = 1/\sqrt{n} $ 으로 스케일링되어, 반복 값이 $ [-1,1]^n $ 내에 유지되도록 한다.
• 알고리즘은 분수 색칠 $ x^{(t)} $ 를 유지하며, 적어도 절반의 좌표가 $ \{-1,1\} $ 에 포함되는 점으로 점진적으로 이동시키며, 수렴성과 타당성을 균형 잡는 스텝 크기를 사용한다.
• 핵심 렘마(레마 14)를 활용하여, 이차 형식 $ \sum y_i A_i $ 의 연산자 노름이 유한하게 유지되는 저왜곡 부분공간 $ U $ 를 계산함으로써 잠재 함수의 안정성을 확보한다.
• MWU 스타일의 가중치 업데이트와 불일치 이론의 기하적 제약 조건을 결합하여, 행렬 제약 조건에 대해 지수적 가중치를 사용함으로써 낮은 불일치 해를 향한 탐색을 이끌어낸다.

실험 결과

연구 질문

• RQ1 다중 가중치 업데이트 방법이 조합적 환경에서 불일치 최소화를 위한 결정론적 알고리즘으로 적응 가능한가?
• RQ2 MWU 프레임워크가 열의 노름이 유한한 행렬에 대해 $ \ell_\infty $-불일치 문제의 구성적 다항 시간 해를 제공할 수 있는가?
• RQ3 크기 $ q $ 인 $ n \times n $ 블록 대각 행렬에 대해 $ O(\sqrt{n} \sqrt{\log q}) $ 의 불일치 한계를 달성할 수 있는가? 이는 Meka의 추측을 따라간다.
• RQ4 임의의 행렬 $ A $ 에 대해 $ \|A_i\|_2 \leq 1 $ 라면, $ \|Ax\|_\infty \leq O(\sqrt{\log n}) $ 를 만족하는 $ \pm 1 $-벡터 $ x $ 를 결정론적으로 찾는 것이 가능한가?
• RQ5 잠재 함수와 부분공간 제약 조건을 어떻게 설계할 수 있을까? 이는 성장의 제한성과 전체 $ \pm 1 $-색칠로의 수렴성을 동시에 보장할 수 있도록 해야 한다.

주요 결과

• 알고리즘은 시간 복잡도 $ O(n^5 + n^4 m^3) $ 내에 최소 $ n/2 $ 개의 좌표가 $ \{-1,1\} $ 에 포함된 부분 색칠을 계산하며, 크기 $ q $ 인 블록 대각 행렬에 대해 $ O(\sqrt{n \log(2qm/n)}) $ 의 불일치를 달성한다.
• 반복마다 잠재 함수 $ \Phi^{(t)} $ 는 최대 $ (1 + 16\varepsilon^2 \delta^2) $ 배로 증가하며, 이는 $ T \leq 2n / \delta^2 $ 단계 동안 제어 가능한 성장을 보장한다.
• 종료 시점에 행렬 $ \sum_{i=1}^n (x_i^{(T)} - x_i^{(0)}) A_i $ 의 최대 특이값은 $ O(\sqrt{n \log(2qm/n)}) $ 이하로 제한되며, 이는 원하는 불일치 한계를 암시한다.
• 크기 $ q $ 인 블록 대각 행렬을 가진 $ n \times n $ 행렬에 대해 알고리즘은 $ O(\sqrt{n} \sqrt{\log q}) $ 의 불일치를 달성하며, 이는 Meka의 추측이 이 구조적 경우에서 성립함을 지지한다.
• 이 방법은 임의의 행렬 $ A $ 의 열이 $ \ell_2 $-노름이 1 이하일 때, $ \|Ax\|_\infty \leq O(\sqrt{\log n}) $ 를 만족하는 $ \pm 1 $-벡터 $ x $ 를 결정론적으로 구성한다. 이는 Bansal, Dadush, Garg의 랜덤화된 결과와 일치한다.
• 알고리즘의 분석은 새로운 부분공간 구성(레마 14)에 기반하며, 이는 매트릭스 업데이트에서 이차 오차가 유한하게 유지됨을 보장하여 잠재 함수를 엄밀히 제어할 수 있도록 한다.