[논문 리뷰] Online Continuous Submodular Maximization

Lin Chen, Hamed Hassani외 1명|arXiv (Cornell University)|2018. 02. 16.

Advanced Bandit Algorithms Research참고 문헌 32인용 수 30

한 줄 요약

이 논문은 비볼록, 비볼록 목표 함수 하에서 연속 하위모듈러 최대화를 위한 두 가지 온라인 최적화 알고리즘—Meta-Frank-Wolfe와 온라인 기울기 상승법—을 제안한다. 정확한 기울기와 스 tochastic 기울기 설정에서 각각 (1−1/e)-근사 및 1/2-근사 오프라인 해를 기준으로 O(√T)의 리그레트 한계를 확립하며, γ-약한 하위모듈러 함수로 일반화되어 γ²/(γ²+1)의 근사 보장을 제공한다.

ABSTRACT

In this paper, we consider an online optimization process, where the objective functions are not convex (nor concave) but instead belong to a broad class of continuous submodular functions. We first propose a variant of the Frank-Wolfe algorithm that has access to the full gradient of the objective functions. We show that it achieves a regret bound of $O(\sqrt{T})$ (where $T$ is the horizon of the online optimization problem) against a $(1-1/e)$-approximation to the best feasible solution in hindsight. However, in many scenarios, only an unbiased estimate of the gradients are available. For such settings, we then propose an online stochastic gradient ascent algorithm that also achieves a regret bound of $O(\sqrt{T})$ regret, albeit against a weaker $1/2$-approximation to the best feasible solution in hindsight. We also generalize our results to $γ$-weakly submodular functions and prove the same sublinear regret bounds. Finally, we demonstrate the efficiency of our algorithms on a few problem instances, including non-convex/non-concave quadratic programs, multilinear extensions of submodular set functions, and D-optimal design.

연구 동기 및 목표

• 목적 함수가 이산 하위모듈러 함수를 연속 영역으로 일반화하는 클래스인 연속 하위모듈러 함수인 비볼록 최적화 문제를 다루기 위해.
• 비볼록성에도 불구하고 최선의 고정 오프라인 해와 경쟁할 수 있는 리그레트 없는 온라인 알고리즘을 개발하기 위해.
• 정확한 기울기와 스 tochastic 기울기 설정에 대한 이론적 보장을 제공하기 위해, 특히 무ए향 기울기 추정치만 가용한 상황에서도 적용 가능하도록 하기 위해.
• γ-약한 DR-하위모듈러 함수로 결과를 일반화하여, 하위모듈러성은 아니지만 근사적으로 하위모듈러성인 더 넓은 범주로의 적용 가능성을 확장하기 위해.
• 비볼록 이차 프로그래밍, 다중선형 확장, D-최적 설계 문제와 같은 실제 응용 사례에서 알고리즘의 실용적 효율성을 입증하기 위해.

제안 방법

• 완전한 기울기 정보를 사용하고 타당 영역 유지를 위해 투영된 부분기울기 단계를 수행하는 Frank-Wolfe 알고리즘의 변종인 Meta-Frank-Wolfe를 제안한다.
• 무ए향 기울기 추정치만 가용한 스 tochastic 설정을 위해, 타당 영역에 투영하는 것을 통해 제약 조건을 만족시키는 온라인 기울기 상승법을 도입한다.
• 각 단계에서 반복값을 타당한 볼록 체에 다시 투영하기 위해 투영 연산자 Π_P(x) = argmin_{v∈P} ||x−v||를 사용한다.
• DR-하위모듈러 함수의 점점 감소하는 수익성 성질을 분석하고, 미분 가능성과 유계 기울기 가정을 활용하여 리그레트 한계를 유도한다.
• γ-약한 DR-하위모듈러 함수로 결과를 일반화하기 위해, γ²/(γ²+1) 비율에 비례하는 리그레트 한계를 유도하며, γ=1일 때 1/2로 축소됨을 보인다.
• 알고리즘 성능 검증을 위해 하위모듈러 집합 함수의 다중선형 확장과 D-최적 설계를 구체적인 문제 사례로 사용한다.

실험 결과

연구 질문

• RQ1 목적 함수가 비볼록이고 비볼록일 때, 온라인 최적화 알고리즘이 연속 하위모듈러 최대화 문제에서 하위선형 리그레트를 달성할 수 있는가?
• RQ2 정확한 기울기 정보와 스 tochastic 기울기 정보가 존재할 경우, 온라인 알고리즘이 달성할 수 있는 최선의 근사 보장은 무엇인가?
• RQ3 다양한 기울기 가용성 가정 하에서 연속 DR-하위모듈러 함수에 대해 리그레트 한계가 시간 범위 T에 따라 어떻게 척도화되는가?
• RQ4 이론적 보장은 γ-약한 DR-하위모듈러 함수로 확장될 수 있으며, 그 결과 근사 요소는 무엇인가?
• RQ5 제안된 알고리즘은 D-최적 설계와 다중선형 확장과 같은 실제 비볼록 최적화 문제에서 실제로 어떻게 성능을 발휘하는가?

주요 결과

• 완전한 기울기 정보가 가용할 경우 Meta-Frank-Wolfe는 O(√T) 리그레트를 달성하며, 최선의 고정 오프라인 해에 대해 (1−1/e)-근사 보장을 확보한다.
• 스 tochastic 기울기 추정치 하에서 온라인 기울기 상승법은 O(√T) 리그레트를 달성하며, 최선의 고정 오프라인 해에 대해 1/2-근사 보장을 확보한다.
• γ-약한 DR-하위모듈러 함수에 대해서는 온라인 기울기 상승법이 O(√T) 리그레트를 달성하며, γ²/(γ²+1)-근사 보장을 제공한다. γ=1일 경우 1/2로 축소된다.
• 리그레트 한계는 Ω(√T)가 온라인 최적화의 최악의 경우 하한임을 고려할 때, 제안된 알고리즘이 이 하한과 정확히 일치함을 보여 이는 타당성이 있다.
• 실험적 평가를 통해 비볼록 이차 프로그래밍, 하위모듈러 집합 함수의 다중선형 확장, D-최적 설계 문제에서 두 알고리즘의 효율성이 확인되었다.
• 연구는 연속 그레디언트 방법이 스 tochastic 설정에서는 안정성이 떨어지며, 이는 투영된 스 tochastic 기울기 상승법의 사용을 정당화한다.