[논문 리뷰] Worst Case Competitive Analysis of Online Algorithms for Conic Optimization

Reza Eghbali, Maryam Fazel|arXiv (Cornell University)|2016. 11. 02.

Optimization and Search Problems참고 문헌 33인용 수 4

한 줄 요약

이 논문은 양의 부피와 양의 정부호 원판 위에서 원뿔 최적화 문제에 대한 원시-이중 온라인 알고리즘의 최악의 경우 경쟁 분석을 제시하며, 단조 함수에 대해 최소 1/2의 일정한 경쟁 비율을 보장하는 목적 함수에 대한 충분조건을 도출한다. 이는 경쟁 비율을 향상시키기 위해 볼록 최적화를 통한 최적의 스무딩 기법을 도입하며, 특히 분리 가능한 함수에 대해 효과적이다. 또한 스무딩 함수에 대해 직접 경쟁 비율의 상한을 최적화할 수 있는 구축 가능한 방법을 제공한다.

ABSTRACT

Online optimization covers problems such as online resource allocation, online bipartite matching, adwords (a central problem in e-commerce and advertising), and adwords with separable concave returns. We analyze the worst case competitive ratio of two primal-dual algorithms for a class of online convex (conic) optimization problems that contains the previous examples as special cases defined on the positive orthant. We derive a sufficient condition on the objective function that guarantees a constant worst case competitive ratio (greater than or equal to $\frac{1}{2}$) for monotone objective functions. We provide new examples of online problems on the positive orthant and the positive semidefinite cone that satisfy the sufficient condition. We show how smoothing can improve the competitive ratio of these algorithms, and in particular for separable functions, we show that the optimal smoothing can be derived by solving a convex optimization problem. This result allows us to directly optimize the competitive ratio bound over a class of smoothing functions, and hence design effective smoothing customized for a given cost function.

연구 동기 및 목표

• 광범위한 원뿔 최적화 문제에 대해 온라인 원시-이중 알고리즘의 최악의 경우 경쟁 비율을 분석하는 것.
• 단조 함수에 대해 일정한 경쟁 비율(≥1/2)을 보장하는 목적 함수에 대한 충분조건을 규명하는 것.
• 경쟁 비율을 향상시키는 최적의 스무딩 기법을 개발하는 것.
• 특정 비용 함수에 맞게 설계된 스무딩 함수를 위한 볼록 최적화 프레임워크를 제공하는 것.
• 분석을 양의 정부호 원판 위의 문제와 분리 가능한 오목 목적 함수로 확장하는 것.

제안 방법

• 콤���한 볼록 제약 집합을 가진 양의 부피와 양의 정부호 원판 위에서 온라인 원뿔 최적화를 원시-이중 문제로 수식화한다.
• 순차적 업데이트를 사용하는 알고리즘(알고리즘 1)과 연속적인 사鞍점 업데이트를 사용하는 알고리즘(알고리즘 2)을 제안한다.
• 단조 함수 ψ에 대해 경쟁 비율이 1/2 이상으로 유계임을 보장하는 목적 함수 ψ에 대한 충분조건을 도출한다.
• 경쟁 비율을 향상시키기 위해 목적 함수를 변형하는 스무딩 기법을 도입하며, 최적의 스무딩은 볼록 최적화 문제를 풀어 구한다.
• 분리 가능한 함수에 적용하여, 최적의 스무딩 함수가 스무딩 함수의 클래스에 대해 볼록 최적화를 통해 유도될 수 있음을 보인다.
• 켤레 함수와 쌍대성을 사용하여 스무딩을 페를레 쌍대 함수의 형태로 표현함으로써 분석적 및 계산적 타당성을 확보한다.

실험 결과

연구 질문

• RQ1 단조 원뿔 최적화 문제에 대해 최악의 경우 경쟁 비율이 최소 1/2가 되도록 보장하는 목적 함수에 대한 충분조건는 무엇인가?
• RQ2 경쟁 비율을 향상시키기 위해 스무딩을 체계적으로 적용할 수 있는 방법은 무엇인가?
• RQ3 최적의 스무딩 함수는 효율적으로 계산될 수 있으며, 만약 그렇다면 어떤 볼록 최적화 공식화를 통해 이루어지는가?
• RQ4 분리 가능한 오목 목적 함수에 대해 최적의 스무딩을 적용했을 때 경쟁 비율은 어느 정도 향상되는가?
• RQ5 제안된 알고리즘은 양의 정부호 원판 위에서 정의된 문제에서 어떻게 성능을 발휘하는가?

주요 결과

• 목적 함수 ψ에 대해 충분조건가 성립할 경우, 양의 부피 위의 원뿔 최적화 문제에서 단조 함수에 대해 최악의 경우 경쟁 비율이 최소 1/2임을 보장한다.
• 분리 가능한 함수에 대해, 경쟁 비율을 최대화하는 최적의 스무딩 함수는 볼록 최적화 문제를 풀어 계산할 수 있다.
• 조각별 선형 함수의 일정한 클래스에 대해 스무딩된 문제의 경쟁 비율은 1 - exp(-1/(c+1))로 유계지며, 여기서 c는 함수의 곡률과 관련된 매개변수이다.
• ψ(u) = log(1+u) 이고 u_max = 100일 경우, c가 증가함에 따라 최적의 스무딩 하에서 경쟁 비율은 1 - exp(-1/c)에 수렴함을 보이며, 이는 비스무딩된 경우에 비해 뚜렷한 향상을 보인다.
• 이 프레임워크는 양의 정부호 원판 위의 문제에 적용 가능하며, 논문에서 유도된 충분조건를 만족하는 예시들이 존재한다.
• 제안된 스무딩 방법은 기본 경쟁 비율 1/2를 초월하여 곡률이 유계인 함수에 대해 경쟁 비율을 향상시키며, 경쟁 비율 상한을 직접 최적화할 수 있게 한다.