[논문 리뷰] Tight Bounds for Approximate Carathéodory and Beyond

Vahab Mirrokni, Renato Paes Leme외 2명|arXiv (Cornell University)|2015. 12. 29.

Complexity and Algorithms in Graphs참고 문헌 25인용 수 13

한 줄 요약

이 논문은 약간의 선형 시간을 갖는 결정적 알고리즘을 제시하여 근사 카라테오도리 문제를 해결하며, ℓp 노름에서 볼록 다면체 내 임의의 점을 근사하기 위해 필요한 정점 수에 대한 날카운 경계를 제공한다. 이는 O(D²p/ε²) 정점이 근사에 충분하고 동시에 필수적임을 입증하며, Sion의 정리를 통해 유도된 이중 볼록 함수를 사용한 미러 디센트를 활용한다. 또한 이 방법을 하위모듈라 함수 최소화와 커널 행렬의 효율성을 고려한 SVM 훈련에 확장한다.

ABSTRACT

We give a deterministic nearly-linear time algorithm for approximating any point inside a convex polytope with a sparse convex combination of the polytope's vertices. Our result provides a constructive proof for the Approximate Carathéodory Problem, which states that any point inside a polytope contained in the $\ell_p$ ball of radius $D$ can be approximated to within $ε$ in $\ell_p$ norm by a convex combination of only $O\left(D^2 p/ε^2 ight)$ vertices of the polytope for $p \geq 2$. We also show that this bound is tight, using an argument based on anti-concentration for the binomial distribution. Along the way of establishing the upper bound, we develop a technique for minimizing norms over convex sets with complicated geometry; this is achieved by running Mirror Descent on a dual convex function obtained via Sion's Theorem. As simple extensions of our method, we then provide new algorithms for submodular function minimization and SVM training. For submodular function minimization we obtain a simplification and (provable) speed-up over Wolfe's algorithm, the method commonly found to be the fastest in practice. For SVM training, we obtain $O(1/ε^2)$ convergence for arbitrary kernels; each iteration only requires matrix-vector operations involving the kernel matrix, so we overcome the obstacle of having to explicitly store the kernel or compute its Cholesky factorization.

연구 동기 및 목표

• 랜덤 샘플링이나 정확한 카라테오도리 해에 대한 사전 지식 없이도 구조적으로 작동하는 결정적 알고리즘을 제공함으로써 약간의 카라테오도리 문제를 해결하는 것.
• ℓp-근사에 필요한 정점 수에 대해 Ω(D²p/ε²)의 날카운 하한을 확립함으로써 이전 연구에서 남겨진 격차를 메우는 것.
• Sion의 정리를 통해 유도된 이중 함수에 대한 미러 디센트를 사용하여 복잡한 기하학적 특성을 가진 볼록 집합 위에서 노름을 최소화하는 일반적인 기법을 개발하는 것.
• 이 방법을 실용적인 최적화 문제, 특히 하위모듈라 함수 최소화와 임의의 커널을 사용한 SVM 훈련에 확장하는 것.
• 커널 행렬을 명시적으로 저장하거나 분해하지 않고도 O(1/ε²) 수렴 속도를 달성하는 것.

제안 방법

• Sion의 최소화 정리에 의해 유도된 이중 볼록 함수에 대해 미러 디센트를 적용하여 기하학적으로 복잡한 볼록 집합 위에서 ℓp 노름을 최소화하는 데 사용한다.
• 강한 볼록성과 유한한 부분미분을 보장하기 위해 미러 맵 ω(y) = ½‖y‖_{K̃⁻¹}² 와 그 쌍대 함수 ω*(z) = ½‖z‖_K̃² (만약 ‖z‖_K̃ ≤ 1 이면), 그렇지 않으면 선형 함수를 사용한다.
• 미러 맵의 강한 볼록성을 보장하고 특이성을 피하기 위해 정규화된 커널 행렬 K̃ = K + (ε/2)I 를 도입한다.
• O(1/η)개의 비영 요소를 가진 탐욕적 구성 방식을 통해 목적 함수의 부분미분의 리프시츠 조건을 유도하며, 이로 인해 ℓ₂-리프시츠 조건이 L = 2√η 가 된다.
• 미러 디센트 반복의 수렴 속도를 제어하기 위해 강한 볼록성 매개수 σ = min(ε/2, (‖K‖ + ε/2)⁻¹) 를 사용한다.
• SVM 훈련의 경우, 부분미분과 커널-벡터 곱을 미리 계산하지 않고 실시간으로 계산하여 커널 행렬을 명시적으로 저장하거나 콜레프스키 분해를 수행하지 않도록 한다.

실험 결과

연구 질문

• RQ1 랜덤 샘플링이나 정확한 카라테오도리 분해에 대한 사전 지식 없이도 약간의 카라테오도리 정리를 구성적으로 증명할 수 있는가?
• RQ2 ℓp-근사에 대해 O(D²p/ε²) 경계가 날카로운가, 아니면 ε 또는 p 의 의존성 측면에서 향상시킬 수 있는가?
• RQ3 Sion의 정리를 통해 유도된 이중 볼록 함수에 대한 미러 디센트를 사용하여 기하학적으로 복잡한 볼록 집합 위에서 노름을 최소화할 수 있는가?
• RQ4 이 프레임워크는 하위모듈라 함수 최소화와 SVM 훈련에 대해 더 빠르거나 단순한 알고리즘을 도출할 수 있는가?
• RQ5 커널 행렬을 저장하거나 분해하지 않고도 행렬-벡터 연산만으로 O(1/ε²) 수렴 속도를 달성할 수 있는가?

주요 결과

• 논문은 ℓp 노름에서 다면체 내 임의의 점을 ε-근사하기 위해 필요한 정점 수에 대해 Ω(D²p/ε²)의 날카운 하한을 확립하며, 기존 상한이 점근적으로 최적임을 증명한다.
• 약간의 선형 시간을 갖는 결정적 알고리즘을 개발하여 약간의 카라테오도리 문제를 해결하며, O(D²p/ε²) 반복 내에서 각 반복이 선형 시간에 수행되며 정확한 카라테오도리 분해에 대한 사전 지식이 필요하지 않다.
• 하위모듈라 함수 최소화의 경우, 현재 실무에서 최고의 성능을 보이는 Wolfe 알고리즘에 비해 증명 가능하게 더 빠르고 단순한 대안을 제공한다.
• SVM 훈련의 경우, 커널 행렬을 명시적으로 저장하거나 콜레프스키 분해를 수행하지 않고도 오직 행렬-벡터 곱 연산만으로 O(1/ε²) 수렴 속도를 달성한다.
• 다항식 및 RBF 커널의 경우 반복 횟수는 O(max(1/(nνε³), 1/(νε²))) 이며, 각 반복은 오직 Õ(n) 시간만을 요구하므로 대규모 커널 방법에 대해 확장 가능하다.
• 이 방법은 부분미분의 노름이 2√η 이하로 제한되며, 강한 볼록성과 리프시츠 조건을 가정한 미러 디센트를 통해 엄밀한 수렴 분석이 가능하다.