[論文レビュー] Faster Algorithm for Structured John Ellipsoid Computation

Cao, Yang, Li, Xiaoyu+3 more|arXiv (Cornell University)|Nov 26, 2022

Polynomial and algebraic computation被引用数 5

ひとこと要約

本稿では、行列 $A \in \mathbb{R}^{n \times d}$ で定義される中心対称多面体における最大体積を有する内接楕円体（ジョン楕円体）を計算するためのより高速なアルゴリズムを提示する。スケッチとレバレッジスコアサンプリングを用いることで、スパース行列ではほぼ入力スパarsity時間 $\operatorname{nnz}(A) + d^{\omega}$ を達成し、木幅 $\tau$ が小さい行列では $n\tau^2$ 時間を達成する。これは従来の $O(nd^2)$ の境界よりも顕著に改善されたものである。

ABSTRACT

The famous theorem of Fritz John states that any convex body has a unique maximal volume inscribed ellipsoid, known as the John Ellipsoid. Computing the John Ellipsoid is a fundamental problem in convex optimization. In this paper, we focus on approximating the John Ellipsoid inscribed in a convex and centrally symmetric polytope defined by $ P := \{ x \in \mathbb{R}^d : -\mathbf{1}_n \leq A x \leq \mathbf{1}_n \},$ where $ A \in \mathbb{R}^{n imes d} $ is a rank-$d$ matrix and $ \mathbf{1}_n \in \mathbb{R}^n $ is the all-ones vector. We develop two efficient algorithms for approximating the John Ellipsoid. The first is a sketching-based algorithm that runs in nearly input-sparsity time $ \widetilde{O}(\mathrm{nnz}(A) + d^ω) $, where $ \mathrm{nnz}(A) $ denotes the number of nonzero entries in the matrix $A$ and $ ω\approx 2.37$ is the current matrix multiplication exponent. The second is a treewidth-based algorithm that runs in time $ \widetilde{O}(n τ^2)$, where $τ$ is the treewidth of the dual graph of the matrix $A$. Our algorithms significantly improve upon the state-of-the-art running time of $ \widetilde{O}(n d^2) $ achieved by [Cohen, Cousins, Lee, and Yang, COLT 2019].

研究の動機と目的

• 中心対称多面体を行列 $A \in \mathbb{R}^{n \times d}$ で定義する場合のジョン楕円体計算を高速化すること。
• 繰り返しのコレスキー分解と線形方程式系の解法に起因する、先行研究 [CCLY19] の $O(nd^2)$ のボトルネックを克服すること。
• 固定点反復における $\ell_\infty$ レイリー重みの各反復コストを削減するために、スケッチとレバレッジスコアサンプリングを活用すること。
• 行列 $A$ の低木幅構造を活用して計算をさらに高速化し、各反復で $O(n\tau^2)$ 時間を達成すること。

提案手法

• ランダムサンプリングを用いて、二次形式 $a^\top B^{-1}a$ を近似するスケッチに基づくアルゴリズムを提案。これにより、高価なコレスキー分解が置き換えられる。
• $\sqrt{W}A$ におけるレバレッジスコアサンプリングを用い、行列 $A^\top W A$ をスパース化。これにより、高い確率でスペクトル近似が保証される。
• 行列チェルノフの不等式を用い、サンプリングされた行列 $\widetilde{H}(w)$ が高確率で $(1-\epsilon_0)H(w) \preceq \widetilde{H}(w) \preceq (1+\epsilon_0)H(w)$ を満たすことを保証する。
• 行列 $A^\top A$ の消去木構造を活用する木幅に配慮したアルゴリズムを導入。これにより、各反復で $O(n\tau^2)$ 時間で行列-ベクトル積を計算できる。
• スケッチされた行列を用いた $\ell_\infty$ レイリー重みの固定点反復を設計。収束は $O(\epsilon^{-1} \log(n/d))$ 反復で達成される。
• 出力を最適化するため、$A^\top V A$ の明示的計算を避ける。代わりに $A$ と重みベクトル $v$ のみを保存する。

実験結果

リサーチクエスチョン

• RQ1 一般のスパース行列に対して、ジョン楕円体計算の各反復コストを $O(nd^2)$ 未満に削減できるか？
• RQ2 スケッチを用いることで、スパース行列に対して $\widetilde{O}(\operatorname{nnz}(A) + d^\omega)$ 時間の入力スパarsityを達成できるか？
• RQ3 行列 $A$ の低木幅構造を活用して、$O(nd^2)$ よりも高速な計算が可能か？
• RQ4 スケッチと組み合わせたレバレッジスコアサンプリングが、固定点反復における収束に必要なスペクトル性質を保持するか？

主な発見

• スパース行列に対しては、アルゴリズムは $O(\epsilon^{-1} \log(n/\delta) \cdot (\operatorname{nnz}(A) + \epsilon^{-1} d^\omega))$ 時間で実行され、ほぼ入力スパarsityを達成する。
• 木幅 $\tau$ を持つ行列に対しては、各反復で $O(n\tau^2)$ 時間で実行され、$d$ とは無関係に動作する。
• 出力の楕円体 $Q$ が $\frac{1}{\sqrt{1+\epsilon}} Q \subseteq P \subseteq \sqrt{d} Q$ を満たすことを保証する。これにより体積近似が保証される。
• すべての $\epsilon \in (1/d, 1)$ に対して、$n \geq d^\omega$ のとき、およびすべての $\tau$ が小さい行列に対して、[CCLY19] よりも改善される。
• スケッチの使用により、各反復コストが $O(nd^2)$ から $O(\epsilon^{-1} \operatorname{nnz}(A) + \epsilon^{-2} d^\omega)$ に低下し、高確率でのスペクトル保証が得られる。
• 木幅に基づくアルゴリズムは、$\tau \ll d$ の場合、各反復コストが $O(n\tau^2)$ であるため、常に [CCLY19] よりも高速である。