[논문 리뷰] Faster Algorithm for Structured John Ellipsoid Computation

Cao, Yang, Li, Xiaoyu외 3명|arXiv (Cornell University)|2022. 11. 26.

Polynomial and algebraic computation인용 수 5

한 줄 요약

이 논문은 스케칭과 리커지 스코어 샘플링을 사용하여 중심 대칭 다면체를 정의하는 행렬 $A \in \mathbb{R}^{n \times d}$에 대해 존 타원체(최대 부피를 가진 내접 타원체)를 더 빠르게 계산하는 알고리즘을 제안한다. 희소 행렬의 경우 입력 스파arsity에 가까운 시간 $\operatorname{nnz}(A) + d^{\omega}$를 달성하고, 소규모 트리위드($\tau$)를 가진 행렬의 경우 $n\tau^2$ 시간을 확보하여 이전의 $O(nd^2)$ bound에 비해 크게 향상된다.

ABSTRACT

The famous theorem of Fritz John states that any convex body has a unique maximal volume inscribed ellipsoid, known as the John Ellipsoid. Computing the John Ellipsoid is a fundamental problem in convex optimization. In this paper, we focus on approximating the John Ellipsoid inscribed in a convex and centrally symmetric polytope defined by $ P := \{ x \in \mathbb{R}^d : -\mathbf{1}_n \leq A x \leq \mathbf{1}_n \},$ where $ A \in \mathbb{R}^{n imes d} $ is a rank-$d$ matrix and $ \mathbf{1}_n \in \mathbb{R}^n $ is the all-ones vector. We develop two efficient algorithms for approximating the John Ellipsoid. The first is a sketching-based algorithm that runs in nearly input-sparsity time $ \widetilde{O}(\mathrm{nnz}(A) + d^ω) $, where $ \mathrm{nnz}(A) $ denotes the number of nonzero entries in the matrix $A$ and $ ω\approx 2.37$ is the current matrix multiplication exponent. The second is a treewidth-based algorithm that runs in time $ \widetilde{O}(n τ^2)$, where $τ$ is the treewidth of the dual graph of the matrix $A$. Our algorithms significantly improve upon the state-of-the-art running time of $ \widetilde{O}(n d^2) $ achieved by [Cohen, Cousins, Lee, and Yang, COLT 2019].

연구 동기 및 목표

• 중심 대칭 다면체를 정의하는 행렬 $A \in \mathbb{R}^{n \times d}$에 대해 존 타원체 계산을 가속화하는 것.
• 이전 연구 [CCLY19]에서 발생하는 반복적인 코レス키 분해와 선형 시스템 해법으로 인한 $O(nd^2)$ 복잡도 장벽을 극복하는 것.
• 고정점 반복을 위한 $\ell_\infty$ 레이저 무게 계산에서 반복 단위 비용을 줄이기 위해 스케칭과 리커지 스코어 샘플링을 활용하는 것.
• 행렬 $A$의 낮은 트리위드 구조를 이용해 계산을 추가로 가속화하고, 반복당 $O(n\tau^2)$ 시간을 달성하는 것.

제안 방법

• 무작위 샘플링을 사용해 이차형식 $a^\top B^{-1}a$를 근사하는 스케칭 기반 알고리즘을 제안하여 비용이 많이 드는 코レス키 분해를 대체한다.
• 행렬 $A^\top W A$의 흐림을 보장하기 위해 $\sqrt{W}A$에 대해 리커지 스코어 샘플링을 적용하여 스퍼스화한다.
• 행렬 찬프의 부등식을 사용해 샘플된 행렬 $\widetilde{H}(w)$가 높은 확률로 $(1-\epsilon_0)H(w) \preceq \widetilde{H}(w) \preceq (1+\epsilon_0)H(w)$를 만족하도록 보장한다.
• 행렬 $A^\top A$의 제거 트리 구조를 활용해 매 반복당 $O(n\tau^2)$ 시간 내에 행렬-벡터 곱을 계산하는 트리위드 인식 알고리즘을 도입한다.
• 스케칭된 행렬을 사용해 $\ell_\infty$ 레이저 무게에 대한 고정점 반복을 설계하였으며, 수렴이 $O(\epsilon^{-1} \log(n/d))$ 반복 내에 이루어진다.
• 출력을 최적화하기 위해 $A^\top V A$의 명시적 계산을 피하고, 단지 $A$와 가중치 벡터 $v$만 저장한다.

실험 결과

연구 질문

• RQ1 일반적인 희소 행렬에 대해 존 타원체 계산의 반복 단위 비용을 $O(nd^2)$ 이하로 줄일 수 있는가?
• RQ2 스케칭을 사용하여 희소 행렬에 대해 입력 스파arsity 시간 복잡도 $\widetilde{O}(\operatorname{nnz}(A) + d^\omega)$ 를 달성할 수 있는가?
• RQ3 행렬 $A$의 낮은 트리위드 구조를 활용해 $O(nd^2)$ 이하의 계산 속도를 달성할 수 있는가?
• RQ4 스케칭과 함께 리커지 스코어 샘플링이 고정점 반복에서 수렴에 필요한 스펙트럼 성질을 유지하는가?

주요 결과

• 희소 행렬의 경우 알고리즘이 $O(\epsilon^{-1} \log(n/\delta) \cdot (\operatorname{nnz}(A) + \epsilon^{-1} d^\omega))$ 시간 내에 수행되어 거의 입력 스파arsity를 달성한다.
• 트리위드 $\tau$를 가진 행렬의 경우 알고리즘은 반복당 $O(n\tau^2)$ 시간 내에 수행되며, $d$에 독립적이다.
• 알고리즘은 출력 타원체 $Q$가 $\frac{1}{\sqrt{1+\epsilon}} Q \subseteq P \subseteq \sqrt{d} Q$를 만족함을 보장하여 부피 근사가 가능하다.
• 모든 $\epsilon \in (1/d, 1)$ 에 대해 $n \geq d^\omega$ 이면 [CCLY19]보다 향상되며, 소규모 $\tau$를 가진 모든 행렬에 대해 동일하게 성능 향상이 이루어진다.
• 스케칭의 사용으로 반복 단위 비용이 $O(nd^2)$ 에서 $O(\epsilon^{-1} \operatorname{nnz}(A) + \epsilon^{-2} d^\omega)$로 감소하였고, 높은 확률로 스펙트럼 보존 보장을 받는다.
• 트리위드 기반 알고리즘은 $\tau \ll d$일 경우 항상 [CCLY19]보다 빠르며, 반복당 비용이 $O(n\tau^2)$ 이기 때문이다.