[논문 리뷰] Approximate Convex Optimization by Online Game Playing

Elad Hazan|ArXiv.org|2006. 10. 19.

Advanced Bandit Algorithms Research참고 문헌 33인용 수 11

한 줄 요약

이 논문은 온라인 게임 플레이를 활용한 근사 볼록 최적화의 새로운 프레임워크를 제안하며, 엄밀히 볼록인 제약 조건에 대해 O(1/ε) 반복 복잡도를 달성한다. 이는 기존의 표준 O(1/ε²) bound에 비해 크게 향상된 성능이다. 이 방법은 경사 하강 단계와 기본 연산에 기반하여 고비용의 2차 프로그래밍 해법을 피하고, 최대 엔트로피 추정 및 포트폴리오 최적화와 같은 문제들에 적용 가능하다.

ABSTRACT

Lagrangian relaxation and approximate optimization algorithms have received much attention in the last two decades. Typically, the running time of these methods to obtain a $ε$ approximate solution is proportional to $\frac{1}{ε^2}$. Recently, Bienstock and Iyengar, following Nesterov, gave an algorithm for fractional packing linear programs which runs in $\frac{1}ε$ iterations. The latter algorithm requires to solve a convex quadratic program every iteration - an optimization subroutine which dominates the theoretical running time. We give an algorithm for convex programs with strictly convex constraints which runs in time proportional to $\frac{1}ε$. The algorithm does NOT require to solve any quadratic program, but uses gradient steps and elementary operations only. Problems which have strictly convex constraints include maximum entropy frequency estimation, portfolio optimization with loss risk constraints, and various computational problems in signal processing. As a side product, we also obtain a simpler version of Bienstock and Iyengar's result for general linear programming, with similar running time. We derive these algorithms using a new framework for deriving convex optimization algorithms from online game playing algorithms, which may be of independent interest.

연구 동기 및 목표

• 엄밀히 볼록인 제약 조건을 가진 볼록 프로그래밍에 대해 표준 O(1/ε²) 반복 복잡도를 초월하는 더 빠른 근사 알고리즘을 개발하는 것.
• 이전 방법에서 실행 시간을 지배하는 각 반복 단계에서의 볼록 2차 프로그래밍 해법이 필요 없도록 제거하는 것.
• 온라인 게임 플레이 알고리즘으로부터 볼록 최적화 알고리즘을 유도하는 일반적인 프레임워크를 제공하여 더 넓은 적용 가능성을 확보하는 것.
• 비엔스톡과 아이옌가르의 선형 프로그래밍을 위한 O(1/ε) 알고리즘의 더 단순하고 효율적인 버전을 제공하며, 2차 하위문제를 요구하지 않는 것.
• 신호 처리, 포트폴리오 최적화, 주파수 추정 등에 실용적으로 응용 가능한 근사 볼록 최적화를 가능하게 하여 계산 오버헤드를 감소시키는 것.

제안 방법

• 변수 x ∈ P 를 선택하는 플레이어와 제약 조건 가중치 p ∈ S_m 를 선택하는 플레이어 간의 이중 플레이어 온라인 게임으로 볼록 타당성 문제를 공식화한다.
• 이중 게임에 대해 온라인 네트워크 전략(ONS) 알고리즘을 적용하며, 타당성을 유지하기 위해 경사 하강 업데이트와 일반화된 투영을 사용한다.
• ε 위반 제약 조건을 탐지하기 위해 분리 오ракูล을 활용하여 전체 제약 조건 평가 없이도 효율적인 제약 조건 검사를 가능하게 한다.
• 기본적으로 O(1/ε²) 결과를 도출하기 위해 승수 가중치 알고리즘을 사용하며, 이 프레임워크의 일반성을 입증한다.
• 반복 복잡도와 근사 오차 간의 직접적인 연관성을 갖는 온라인 볼록 최적화에서의 회귀(regret) 최소화로 문제를 환원한다.
• 로그 함수 장벽을 통한 변환을 도입하여 원래 문제를 온라인 회귀 최소화에 적합한 형태로 변환한다.

실험 결과

연구 질문

• RQ1 온라인 게임 플레이 알고리즘이 체계적으로 더 빠른 볼록 최적화 방법과 향상된 반복 복잡도를 도출하는 데 사용될 수 있는가?
• RQ2 각 반복 단계에서 2차 하위문제를 해결하지 않고도 엄밀히 볼록인 제약 조건이 있는 프로그램에 대해 O(1/ε) 수렴을 달성할 수 있는가?
• RQ3 기존의 라그랑주 이론 완화 및 프랭크-울프 스타일 방법과 비교해 본 프레임워크의 반복 횟수와 각 반복의 비용은 어떻게 되는가?
• RQ4 이 프레임워크는 단순형을 초월한 일반 볼록 집합으로 확장될 수 있으며, 실행 시간에 어떤 영향을 미치는가?
• RQ5 가감적 근사에서 곱셈적 근사로의 환원이 표준 변환 하에 O(1/ε) 복잡도를 유지하는가?

주요 결과

• 제안된 알고리즘은 엄밀히 볼록 프로그램에 대해 G와 D가 각각 경사 및 도메인의 상한일 때, Õ(nG D / ε)회의 반복 내에 ε-근사 해를 달성한다.
• 반복당 실행 시간은 O(n² + T_proj + T_oracle)이며, T_proj는 일반화된 투영의 비용으로, 내부점 방법을 사용할 경우 최악의 경우 O(n³)이다.
• 선형 프로그래밍의 경우 총 실행 시간은 Õ(n/ε · (nm + n² + n³)) = Õ(n⁴m / ε)이며, 이는 이전 방법의 O(1/ε²) bound를 뛰어넘는다.
• 이 프레임워크는 비엔스톡과 아이옌가르의 포장 및 커버링 선형 프로그래밍을 위한 O(1/ε) 알고리즘의 더 단순한 버전을 도출하며, 볼록 2차 프로그래밍 해법이 필요하지 않다.
• 최대 엔트로피 추정 및 리스크 제약 조건이 있는 포트폴리오 최적화와 같은 엄밀히 볼록 제약 조건이 있는 문제들에 대해 O(1/ε) 수렴을 달성한다.
• ONS 알고리즘의 회귀 한계는 Õ(nGD/(εω))회의 반복 후 해가 최적값으로부터 ε 이내에 있음을 보장하며, ω는 인스턴스의 폭을 의미한다.