[논문 리뷰] Efficient Convex Optimization with Membership Oracles

Yin Tat Lee, Aaron Sidford외 1명|arXiv (Cornell University)|2017. 06. 22.

Complexity and Algorithms in Graphs참고 문헌 8인용 수 23

한 줄 요약

이 논문은 평가 및 소속 관계 오라클만을 사용하여 볼록 집합 위에서 볼록 함수를 최소화하는 랜덤 알고리즘을 제시한다. 이 알고리즘은 $\tilde{O}(n^2)$개의 오라클 쿼리와 $\tilde{O}(n^3)$개의 산술 연산을 달성한다. 주요 기여는 최적화에서 분리 및 소속 관계 오라클로의 감소를 훨씬 더 효율적으로 구현한 것으로, 이전에 알려진 $n^{10}$ 또는 $n^{4.5}$개의 쿼리가 필요한 기존의 경계를 개선한다.

ABSTRACT

We consider the problem of minimizing a convex function over a convex set given access only to an evaluation oracle for the function and a membership oracle for the set. We give a simple algorithm which solves this problem with $ ilde{O}(n^2)$ oracle calls and $ ilde{O}(n^3)$ additional arithmetic operations. Using this result, we obtain more efficient reductions among the five basic oracles for convex sets and functions defined by Grötschel, Lovasz and Schrijver.

연구 동기 및 목표

• 평가 및 소속 관계 오라클만을 이용할 수 있을 때 볼록 집합 위에서 볼록 함수를 최소화하기 위한 더 효율적인 알고리즘을 개발하는 것.
• Grötschel, Lovász, 그리고 Schrijver의 감소에 의해 이전에 알려진 $n^{10}$ 경계를 넘어서 볼록 최적화의 오라클 복잡도를 낮추는 것.
• 볼록 집합과 함수에 대한 다섯 가지 기본 오라클(최적화, 분리, 소속, 위반, 평가) 간의 감소 효율성을 향상시키는 것.
• 새로운 복잡도 경계를 통해 함수 오라클(평가, 하위기울기)과 집합 오라클(소속, 분리) 간의 더 탴밀한 관계를 설정하는 것.

제안 방법

• 알고리즘은 소속 오라클 호출 $\tilde{O}(n)$회를 통해 볼록 집합에 대한 분리 오라클과 함수에 대한 하위기울기 오라클을 구성한다.
• 이미 알려진 볼록 최적화에서 분리 오라클로의 감소 방법을 활용하며, 분리 오라클이 가용할 경우 효율적이라는 점을 이용한다.
• 랜덤 워크와 부피 추정 기법을 사용하여 소속 쿼리만으로 분리 및 하위기울기 오라클을 시뮬레이션한다.
• 적절하게 유지되는 타원체 근사에 기반한 랜덤화된 커팅 플레인 방법을 적용한다.
• 알고리즘은 점 $x_0$과 반경 $r, R$을 유지하여 $B(x_0, r) \subseteq K \subseteq B(x_0, R)$를 확보함으로써 효율적 샘플링을 위한 기하학적 규칙성을 확보한다.
• 볼록 쌍대성 이론을 활용하여 함수 오라클(평가, 하위기울기)과 집합 오라클(소속, 분리) 간의 관계를 설정하고, 이들 간의 감소를 가능하게 한다.

실험 결과

연구 질문

• RQ1 이전에 알려진 $n^{10}$ 경계를 훨씬 상회하는 소속 및 평가 오라클 쿼리 수로 볼록 최적화를 수행할 수 있는가?
• RQ2 평가 및 소속 오라클만을 사용할 때 오라클 복잡도와 산술 비용 간의 최적의 트레이드오프는 무엇인가?
• RQ3 소속 및 평가 오라클만을 사용하여 분리 및 하위기울기 오라클을 어떻게 효율적으로 시뮬레이션할 수 있는가?
• RQ4 다섯 가지 기본 오라클(OPT, SEP, MEM, VIOL, VAL) 간 감소에 대해 가능한 가장 날카로운 복잡도 경계는 무엇인가?
• RQ5 소속 및 분리 오라클로의 감소를 통해 함수 오라클(평가, 하위기울기)의 오라클 복잡도를 낮출 수 있는가?

주요 결과

• 알고리즘은 $\tilde{O}(n^2)$개의 소속 및 평가 오라클 쿼리를 사용하여 볼록 최적화를 해결하며, Grötschel, Lovász, 그리고 Schrijver의 $n^{10}$ 경계에 비해 근본적인 개선을 이룬다.
• 총 산술 비용은 $\tilde{O}(n^3)$로, 주어진 오라클 모델에 대해 효율적이다.
• 소속 오라클이 근사적일 경우에도 알고리즘은 $\tilde{O}(n^2)$의 쿼리 복잡도를 유지하며, 오차 허용 범위 $(\text{mem})^{O(1)}$ 내에서 작동한다.
• 최적화에서 분리 오라클로의 감소는 이제 $\tilde{O}(n)$회의 소속 오라클 쿼리로만 이루어지며, 이는 이전의 $n^4$ 수준의 경계를 개선한다.
• 함수 오라클 간의 관계가 강화되었으며, $\text{GRAD}_\delta(f) \leq O(n\log^2(n/\delta)) \cdot \text{MEM}_{(\delta/n)^{O(1)}}(K_f)$로 표현되며, 하위기울기 쿼리가 소속 오라클을 통해 효율적으로 시뮬레이션 가능하다는 것을 보여준다.
• 다섯 가지 기본 오라클(OPT, SEP, MEM, VIOL, VAL) 간 감소는 이제 차원 $n$에 대해 로그 인자 수준에서 점근적으로 최적화되어 있다.