[논문 리뷰] Greed is Good: Near-Optimal Submodular Maximization via Greedy Optimization

Moran Feldman, Christopher Harshaw외 1명|arXiv (Cornell University)|2017. 04. 05.

Complexity and Algorithms in Graphs참고 문헌 32인용 수 41

한 줄 요약

이 논문은 k-시스템 및 k-확장 가능한 시스템 제약 조건 하에서 일반적인 하위모듈러 함수를 최대화하기 위한 두 가지 새로운 알고리즘인 RepeatedGreedy와 SampleGreedy를 제안한다. RepeatedGreedy는 O(nr√k)번의 함수 평가를 통해 (1+O(1/√k))k-근사값을 달성하며, SampleGreedy는 단일 그레디언트 실행과 중요도 샘플링을 통해 오직 O(nr/k)번의 평가로 k+3-근사값을 달성한다. 이는 이전 방법들에 비해 런타임을 크게 향상시키면서도 근사 최적의 성능을 유지한다.

ABSTRACT

It is known that greedy methods perform well for maximizing monotone submodular functions. At the same time, such methods perform poorly in the face of non-monotonicity. In this paper, we show - arguably, surprisingly - that invoking the classical greedy algorithm $O(\sqrt{k})$-times leads to the (currently) fastest deterministic algorithm, called Repeated Greedy, for maximizing a general submodular function subject to $k$-independent system constraints. Repeated Greedy achieves $(1 + O(1/\sqrt{k}))k$ approximation using $O(nr\sqrt{k})$ function evaluations (here, $n$ and $r$ denote the size of the ground set and the maximum size of a feasible solution, respectively). We then show that by a careful sampling procedure, we can run the greedy algorithm only once and obtain the (currently) fastest randomized algorithm, called Sample Greedy, for maximizing a submodular function subject to $k$-extendible system constraints (a subclass of $k$-independent system constrains). Sample Greedy achieves $(k + 3)$-approximation with only $O(nr/k)$ function evaluations. Finally, we derive an almost matching lower bound, and show that no polynomial time algorithm can have an approximation ratio smaller than $ k + 1/2 - \varepsilon$. To further support our theoretical results, we compare the performance of Repeated Greedy and Sample Greedy with prior art in a concrete application (movie recommendation). We consistently observe that while Sample Greedy achieves practically the same utility as the best baseline, it performs at least two orders of magnitude faster.

연구 동기 및 목표

• k-시스템 및 k-확장 가능한 시스템 제약 조건 하에서 하위모듈러 최적화를 위한 더 빠른 결정론적 및 비결정론적 알고리즘을 개발하기 위해.
• 비단조화 하위모듈러 함수 최적화의 기존 근사 비율과 시간 복잡도를 향상시키기 위해.
• 특히 대규모 문제에서 함수 평가 횟수를 크게 줄이면서도 높은 성능을 유지할 수 있는 방법을 설계하기 위해.
• 이론적 근사 비율의 한계를 불가능성 결과를 통해 규명하기 위해.
• 다양하고 해석 가능한 결과를 제공하는 실세계의 영화 추천 작업에서 성능을 검증하기 위해.

제안 방법

• RepeatedGreedy는 해의 부분집합을 다양하게 탐색하여 근사 비율을 향상시키기 위해 고전적 그레디언트 알고리즘을 O(√k)번 반복적으로 호출한다.
• SampleGreedy는 단일 실행으로 다수의 그레디언트 실행을 시뮬레이션하기 위한 새로운 샘플링 절차를 사용하여 함수 평가 횟수를 O(nr/k)로 줄인다.
• 샘플링 전략은 요소들을 그 마진 기여도 비례 확률로 선택함으로써 해 공간의 효율적 탐색을 가능하게 한다.
• 알고리즘은 k-확장 가능한 시스템 성질을 활용하여 타당성을 유지하면서도 근사 보장을 확보한다.
• 반복 및 샘플링 설정 하에서 그레디언트 알고리즘의 성능을 보다 날카롭게 분석함으로써 향상된 이론적 한계를 도출한다.
• 모든 다항식 시간 알고리즘이 k+1/2−ε보다 더 좋은 근사 비율을 달성할 수 없다는 이론적 하한선을 유도한다.

실험 결과

연구 질문

• RQ1 고전적 그레디언트 알고리즘을 k-시스템 제약 조건 하에서 비단조화 하위모듈러 최적화에 대해 다수의 반복 실행으로 재사용함으로써 더 나은 근사 비율을 달성할 수 있는가?
• RQ2 중요도 샘플링을 통한 단일 그레디언트 실행이 함수 평가 횟수를 크게 줄이면서도 근사 최적의 성능을 달성할 수 있는가?
• RQ3 k-확장 가능한 시스템 하에서 하위모듈러 최적화의 이론적 근사 비율의 한계는 무엇인가?
• RQ4 실세계 응용에서 상태의 최고 수준 알고리즘과 비교했을 때 제안된 알고리즘은 성능과 런타임 측면에서 어떻게 다른가?
• RQ5 영화 추천과 같은 다양한 실세계 환경에서 표준 그레디언트보다 국소 최적점에 갇히는 것을 피하는 데에 알고리즘이 더 효과적인가?

주요 결과

• RepeatedGreedy는 O(nr√k)번의 함수 평가로 (1+O(1/√k))k-근사값을 달성하며, 이는 이전의 O(nrk) 방법보다 향상된 성능이다.
• SampleGreedy는 오직 O(nr/k)번의 함수 평가로 k+3-근사값을 달성하여, k-확장 가능한 시스템에 대해 알려진 가장 빠른 비결정론적 알고리즘이다.
• 단조 또는 선형 목표 함수의 경우, SampleGreedy는 각각 k+1 및 k-근사값을 달성하며, 이는 기존에 알려진 최고의 비율을 유지하면서도 시간 복잡도가 크게 낮아진다.
• MovieLens 20M에서의 실증적 검증 결과, SampleGreedy는 mg=1일 때 FANTOM과 거의 동일한 성능을 달성하면서도 계산 비용의 1.09%만을 소비한다.
• RepeatedGreedy는 FANTOM의 해 품질을 그대로 유지하면서도 런타임이 4배 빠르게 작동하여 성능과 효율성 사이의 우수한 트레이드오프를 보여준다.
• 이론적 분석을 통해 모든 다항식 시간 알고리즘이 k+1/2−ε보다 더 좋은 근사 비율을 달성할 수 없음을 입증하였으며, 이는 SampleGreedy의 k+3 근사 비율이 거의 최적임을 시사한다.