[논문 리뷰] An Optimal Algorithm for Online Unconstrained Submodular Maximization

Tim Roughgarden, Joshua R. Wang|arXiv (Cornell University)|2018. 06. 08.

Complexity and Algorithms in Graphs참고 문헌 26인용 수 5

한 줄 요약

이 논문은 온라인 비제약 서브모듈러스 최대화(온라인 USM) 문제에 대해 처음으로 다항시간 내에 1/2-근사값을 달성하는 1/2-회피 알고리즘을 제안한다. 이 알고리즘은 1/2-근사값을 달성하며, 이는 후행적으로 가장 좋은 고정된 부분집합에 대해 달성 가능한 최적의 근사값이다. 알고리즘은 새로운 서브루틴인 USM Balancer를 사용하는데, 이는 O(√T)의 회피를 보이는 이중 전문가 문제를 해결하며, 서브모듈러스 최대화의 본질적 근사 불가능성에도 불구하고 최적의 성능을 달성할 수 있도록 한다.

ABSTRACT

We consider a basic problem at the interface of two fundamental fields: submodular optimization and online learning. In the online unconstrained submodular maximization (online USM) problem, there is a universe $[n]=\{1,2,...,n\}$ and a sequence of $T$ nonnegative (not necessarily monotone) submodular functions arrive over time. The goal is to design a computationally efficient online algorithm, which chooses a subset of $[n]$ at each time step as a function only of the past, such that the accumulated value of the chosen subsets is as close as possible to the maximum total value of a fixed subset in hindsight. Our main result is a polynomial-time no-$1/2$-regret algorithm for this problem, meaning that for every sequence of nonnegative submodular functions, the algorithm's expected total value is at least $1/2$ times that of the best subset in hindsight, up to an error term sublinear in $T$. The factor of $1/2$ cannot be improved upon by any polynomial-time online algorithm when the submodular functions are presented as value oracles. Previous work on the offline problem implies that picking a subset uniformly at random in each time step achieves zero $1/4$-regret. A byproduct of our techniques is an explicit subroutine for the two-experts problem that has an unusually strong regret guarantee: the total value of its choices is comparable to twice the total value of either expert on rounds it did not pick that expert. This subroutine may be of independent interest.

연구 동기 및 목표

• 비제약 서브모듈러스 최대화 문제에 대해 하위선형 회피를 가지는 계산적으로 효율적인 온라인 알고리즘을 설계하는 것.
• 최고의 알려진 근사 비율(1/2)과 온라인 환경에서 달성 가능한 회피 간의 격차를 메우는 것.
• 다항시간 알고리즘으로 1/2-회피를 달성하며, 서브모듈러스 최대화 문제의 최고로 가능한 근사 비율과 일치시키는 것.
• 이중 전문가 문제에 대해 강력한 회피 보장을 가지는 새로운 서브루틴인 USM Balancer를 개발하는 것. 이는 온라인 USM에 적용 가능하다.

제안 방법

• 각 전문가가 특정 원소를 포함하거나 배제하는 방식으로, 온라인 USM 문제를 이중 전문가 문제로 환원하는 것을 제안한다.
• USM Balancer 알고리즘을 도입하며, 이는 상태 변수 x를 유지하고 관측된 보상을 기반으로 이를 갱신하는 랜덤화 서브루틴이다.
• 확률 p^t = x / √T 를 사용해 원소를 확률적으로 선택하며, x는 (1/2)√T로 초기화되고 [0, √T] 범위 내에서 제한된다.
• 관측된 결과(α^t, β^t)를 볼록 조합 방식으로 사용하여 두 전문가의 이득을 균형 있게 유지한다.
• 각 단계에서 상태 변수 x를 제한하여 알고리즘의 유한성과 안정성을 확보한다.
• 기본 시간 범위 T에 대한 의존성을 제거하기 위해 표준 두 배 증가 기법을 적용한다.

실험 결과

연구 질문

• RQ1 다항시간 온라인 알고리즘이 비제약 서브모듈러스 최대화 문제에 대해 1/2-회피를 달성할 수 있는가?
• RQ2 서브모듈러스 최대화 문제에서 1/2-근사 비율이 온라인 환경에서 최적인가?
• RQ3 강력한 회피 보장을 가지는 이중 전문가 문제를 사용해 온라인 USM 문제를 해결할 수 있는가?
• RQ4 계산적으로 효율적인 온라인 알고리즘이 온라인 USM 문제에 대해 달성할 수 있는 최소 회피는 무엇인가?

주요 결과

• 제안된 알고리즘은 O(n√T)의 1/2-회피를 달성하며, 이는 기대 총 가치가 후행적으로 가장 좋은 고정된 부분집합에 대해 1/2에 가까운 값을 가지며, 하위선형 오차 항을 포함한다.
• USM Balancer 서브루틴은 이중 전문가 문제에 대해 O(√T)의 회피를 달성하며, 이는 로그 인자 수준 이내로 최적이다.
• 모든 다항시간 온라인 알고리즘에 대해 1/2-근사 비율이 최적이며, 이는 오프라인 문제의 근사 불가능성 한계와 일치한다.
• 온라인 USM 문제를 이중 전문가 문제로의 환원은 정확하며, 이는 온라인 USM 문제에 대해 최초로 최적의 1/2-회피 알고리즘을 가능하게 한다.
• 이 알고리즘은 계산적으로 효율적이며, 라운드당 다항시간만을 요구한다. 이는 일반적인 온라인 학습 알고리즘과 달리 n에 대해 지수시간이 소요되지 않는다.