[논문 리뷰] Faster polytope rounding, sampling, and volume computation via a sublinear "Ball Walk"

Oren Mangoubi, Nisheeth K. Vishnoi|arXiv (Cornell University)|2019. 05. 05.

Markov Chains and Monte Carlo Methods참고 문헌 25인용 수 4

한 줄 요약

이 논문은 다면체에서 샘플링하기 위한 볼 워크 마코프 체인의 하위선형 시간 변종을 소개한다. 저자는 낮은 영향도를 가진 제약 조건들을 지능적으로 건너뛰어 단계당 산술 연산 수를 $O(mn)$ 에서 $O(m)$ 으로 줄였다. 이로 인해 등방성 정규화, 샘플링, 부피 계산이 더 빨라졌으며, 표준 가정 하에 이전의 $ ilde{O}(mn^5)$ bound 를 $ ilde{O}(mn^{4.5})$ 로 향상시켰다. 특히 $m rightarrow n^{2.5}$ 또는 $m rightarrow n^{1.5}$ 인 경우에 상당한 속도 향상이 이루어진다.

ABSTRACT

We study the problem of "isotropically rounding" a polytope $K\subset\mathbb{R}^n$, that is, computing a linear transformation which makes the uniform distribution on the polytope have roughly identity covariance matrix. We assume $K$ is defined by $m$ linear inequalities, with guarantee that $rB\subset K\subset RB$, where $B$ is the unit ball. We introduce a new variant of the ball walk Markov chain and show that, roughly, the expected number of arithmetic operations per-step of this Markov chain is $O(m)$ that is sublinear in the input size $mn$--the per-step time of all prior Markov chains. Subsequently, we give a rounding algorithm that succeeds with probability $1-\varepsilon$ in $ ilde{O}(mn^{4.5}\mbox{polylog}(\frac{1}{\varepsilon},\frac{R}{r}))$ arithmetic operations. This gives a factor of $\sqrt{n}$ improvement on the previous bound of $ ilde{O}(mn^5\mbox{polylog}(\frac{1}{\varepsilon},\frac{R}{r}))$ for rounding, which uses the hit-and-run algorithm. Since the rounding preprocessing step is in many cases the bottleneck in improving sampling or volume computation, our results imply these tasks can also be achieved in roughly $ ilde{O}(mn^{4.5}\mbox{polylog}(\frac{1}{\varepsilon},\frac{R}{r})+mn^4δ^{-2})$ operations for computing the volume of $K$ up to a factor $1+δ$ and $ ilde{O}(mn^{4.5}\mbox{polylog}(\frac{1}{\varepsilon},\frac{R}{r})))$ for uniformly sampling on $K$ with TV error $\varepsilon$. This improves on the previous bounds of $ ilde{O}(mn^5\mbox{polylog}(\frac{1}{\varepsilon},\frac{R}{r})+mn^4δ^{-2})$ for volume computation when roughly $m\geq n^{2.5}$, and $ ilde{O}(mn^5\mbox{polylog}(\frac{1}{\varepsilon},\frac{R}{r}))$ for sampling when roughly $m\geq n^{1.5}$. We achieve this improvement by a novel method of computing polytope membership, where one avoids checking inequalities estimated to have a very low probability of being violated.

연구 동기 및 목표

• 주어진 내부 및 외부 구의 보장을 바탕으로 $ℝ^n$ 에서 $m$ 개의 선형 부등식으로 정의된 다면체에 대해 등방성 정규화를 더 빠르게 수행하는 알고리즘을 개발한다.
• 일般적으로 입력 크기로 간주되는 $mn$ 이하의 단계당 계산 비용을 낮추기 위해 마코프 체인 샘플링 방법의 단계당 계산 비용을 낮춘다.
• 등방성 정규화의 사전처리 단계를 가속화하여 샘플링 및 부피 계산의 전체 실행 시간을 향상시킨다.
• 특히 $m \gtrsim n^{2.5}$ 또는 $m \gtrsim n^{1.5}$ 인 영역에서 $n$ 에 대한 의존도를 개선하여 더 빠른 부피 추정과 샘플링을 가능하게 한다.

제안 방법

• 낮은 위반 확률을 가진 제약 조건을 검사하지 않음으로써 단계당 예상 산술 연산 수를 $O(m)$ 으로 줄이는 볼 워크 마코프 체인의 새로운 변종을 제안한다.
• 제약 조건 위반 가능성을 추정하고 각 단계에서 비핵심 부등식을 건너뛰는 동적 필터링 전략을 적용한다.
• 다면체의 $n^{-3}$-내부에서 온난한 시작을 활용하여 빠른 혼합과 등방성 위치로의 효율적 수렴을 보장한다.
• 거부 샘플링과 수정된 볼 워크를 사용하여 다면체 위의 균일 분포에서 전체 변동 오차 $\varepsilon$ 를 가진 샘플을 생성한다.
• 최근의 결과를 응용하여, $O(1)$-온난한 시작에서 시작할 경우 샘플링을 위해 $O(n^{2.5}\log(1/\varepsilon))$ 개의 적절한 단계로 충분하다는 것을 보였다.
• 새로운 하위선형 볼 워크를 기존의 부피 및 샘플링 알고리즘과 조합하여 더 나은 전체 복잡도 상한을 달성한다.

실험 결과

연구 질문

• RQ1 다면체에서 마코프 체인 샘플링의 단계당 비용을 $mn$ 입력 크기의 장벽 이하로 낮출 수 있는가?
• RQ2 모든 $m$ 개의 부등식을 검사하지 않으면서도 정확성과 수렴성을 유지하는 볼 워크 변종을 설계할 수 있는가?
• RQ3 낮은 영향도 제약 조건을 지능적으로 제거하면 등방성 정규화에서 혼합 시간과 샘플링 정확도에 어떤 영향을 미치는가?
• RQ4 새로운 하위선형 볼 워크를 사용할 경우 부피 계산 및 샘플링 복잡도의 점근적 향상은 어떠한가?
• RQ5 특히 고차원 영역에서 이전 작업보다 $n$ 과 $m$ 에 대한 더 나은 의존도를 달성할 수 있는가?

주요 결과

• 제안된 볼 워크 변종은 단계당 예상 산술 연산 수를 $O(mn)$ 에서 $O(m)$ 으로 줄여 하위선형 시간 복잡도를 달성한다.
• 등방성 정규화 알고리즘은 $1 - \varepsilon$ 확률로 $ ilde{O}(mn^{4.5}\mathrm{polylog}(1/\varepsilon, R/r))$ 개의 산술 연산 내에 성공한다. 이는 이전의 상한보다 $√{n}$ 배 향상된 것이다.
• 다면체의 부피를 $1+\delta$ 요인 내에서 계산하는 데 $ ilde{O}(mn^{4.5}\mathrm{polylog}(1/\varepsilon, R/r) + mn^4\delta^{-2})$ 번의 연산이 필요하며, $m \gtrsim n^{2.5}$ 일 경우 이전의 상한보다 향상된다.
• 다면체 위의 균일 분포에서 전체 변동 오차 $\varepsilon$ 를 가진 샘플링은 $ ilde{O}(mn^{4.5}\mathrm{polylog}(1/\varepsilon, R/r))$ 번의 연산 내에 달성되며, $m \gtrsim n^{1.5}$ 일 경우 이전의 상한보다 향상된다.
• 낮은 위반 확률을 가진 제약 조건을 건너뛰는 새로운 제약 조건 검사 전략을 도입하여, 더 넓은 제약 조건 기반 샘플링 및 최적화 문제에 유용할 것으로 기대된다.
• 이론적 분석은 새로운 알고리즘이 계산 오버헤드를 크게 줄이면서도 정확성과 수렴 보장을 유지함을 확인한다.