[논문 리뷰] Optimal Algorithms for Continuous Non-monotone Submodular and DR-Submodular Maximization

Rad Niazadeh, Tim Roughgarden외 1명|arXiv (Cornell University)|2018. 05. 24.

Complexity and Algorithms in Graphs참고 문헌 7인용 수 23

한 줄 요약

이 논문은 초입방형에서 연속 비단조닉 서브모듈라 최대화를 위한 최초의 최적 1/2-근사 알고리즘을 제시한다. 각 좌표에 대해 새로운 0-합 게임 공식화를 사용한다. DR-서브모듈라 함수의 경우, 단조성 조건에 대한 이진 탐색을 통해 준선형 시간 1/2-근사 알고리즘을 제안하며, 이는 이전 작업 대비 근사 보장과 효율성 측면에서 향상된다.

ABSTRACT

In this paper we study the fundamental problems of maximizing a continuous non-monotone submodular function over the hypercube, both with and without coordinate-wise concavity. This family of optimization problems has several applications in machine learning, economics, and communication systems. Our main result is the first $\frac{1}{2}$-approximation algorithm for continuous submodular function maximization; this approximation factor of $\frac{1}{2}$ is the best possible for algorithms that only query the objective function at polynomially many points. For the special case of DR-submodular maximization, i.e. when the submodular functions is also coordinate wise concave along all coordinates, we provide a different $\frac{1}{2}$-approximation algorithm that runs in quasilinear time. Both of these results improve upon prior work [Bian et al, 2017, Soma and Yoshida, 2017]. Our first algorithm uses novel ideas such as reducing the guaranteed approximation problem to analyzing a zero-sum game for each coordinate, and incorporates the geometry of this zero-sum game to fix the value at this coordinate. Our second algorithm exploits coordinate-wise concavity to identify a monotone equilibrium condition sufficient for getting the required approximation guarantee, and hunts for the equilibrium point using binary search. We further run experiments to verify the performance of our proposed algorithms in related machine learning applications.

연구 동기 및 목표

• 초입방형에서 연속 비단조닉 서브모듈라 최대화를 위한 최초의 최적 1/2-근사 알고리즘을 개발하는 것.
• 좌표별 볼록성에 기반한 1/2-근사 알고리즘을 제안하여 DR-서브모듈라 최대화에 대해 준선형 시간 성능을 달성하는 것.
• 연속 서브모듈라 최적화에서 이전 작업 대비 근사 비율과 런타임 효율성을 향상시키는 것.
• 비볼록 이차계획문제 및 DPP MAP 추론과 같은 실제 기계학습 응용 분야에서 알고리즘의 성능을 검증하는 것.

제안 방법

• 각 좌표에 대해 최적 값의 고정을 위해 게임 기하학을 활용한 0-합 게임 분석으로 근사 보장을 축소한다.
• 좌표별 최적화를 통합한 더블-그리디 프레임워크를 사용하며, 도함수와 볼록 봉우리(concave envelopes)를 수치 계산을 통해 통합한다.
• DR-서브모듈라 함수의 경우, 1/2-근사 보장을 위한 충분조건인 단조성 평형 조건을 식별하고, 이를 효율적으로 탐색하기 위해 이진 탐색을 사용한다.
• 다항 시간 쿼리 복잡도를 보장하는 블랙박스 오라클 모델을 활용하여 확장성과 이론적 보장을 확보한다.
• 근사 비율을 증명하기 위해 서브모듈라성, 좌표별 볼록성, 적분 경계를 결합한 새로운 분석 기법을 도입한다.
• 수치 도함수와 일변도 최적화기구를 사용하여 알고리즘을 구현하였으며, 합성 및 실세계 데이터에서 검증하였다.

실험 결과

연구 질문

• RQ1 다항 시간 이내의 함수 쿼리 수로만 제한된 조건에서 연속 비단조닉 서브모듈라 최대화에 대해 1/2-근사 알고리즘을 달성할 수 있는가?
• RQ2 좌표별 볼록성에 기반하여 DR-서브모듈라 최대화에 대해 준선형 시간 1/2-근사 알고리즘을 달성할 수 있는가?
• RQ3 실제 기계학습 작업에서 기존 베이스라인(예: Bi-Greedy)과 비교해 제안된 알고리즘이 실제로 어떻게 성능을 내는가?
• RQ4 다항 시간 쿼리 복잡도 조건 하에서 연속 서브모듈라 최대화의 이론적 근사 한계는 무엇인가?
• RQ5 제안된 기법을 임의의 분리 가능한 볼록 집합으로의 최적화로 일반화할 수 있는가?

주요 결과

• 제안된 알고리즘은 다항 시간 쿼리 복잡도 하에서 연속 비단조닉 서브모듈라 최대화에 대해 1/2-근사 보장을 달성하며, 이는 최적이다.
• DR-서브모듈라 함수의 경우, 알고리즘은 준선형 시간에 이르러 1/2-근사 보장을 유지한다.
• 비볼록 이차계획문제 및 DPP MAP 추론에 대한 실험에서 GAME, BINARY, BMBK는 거의 동일한 목적 함수 값을 기록하였으며, 20회 시행 평균 편차는 1 이하였다.
• 약한-DR NQP 실험에서 사분위율 범위는 약 10이었고, 세 알고리즘의 평균 값은 1 이내로 차이가 나지 않았다.
• 이론적 분석을 통해 다항 시간 쿼리 액세스를 갖는 알고리즘의 1/2-근사 보장이 날카롭게 끝나며, 최적성의 확인이 이루어졌다.
• 0-합 게임 분석과 단조성 평형 탐지의 사용은 강한 볼록성이나 매끄러움 조건 없이도 증명 가능한 근사 보장을 가능하게 한다.