[논문 리뷰] Guarantees for Greedy Maximization of Non-submodular Functions with Applications

Yatao Bian, Joachim M. Buhmann외 2명|arXiv (Cornell University)|2017. 03. 06.

Complexity and Algorithms in Graphs참고 문헌 31인용 수 98

한 줄 요약

논문은 Greedy를 사용하여 K-개수 제약 하에서 비부분모듈적이고 비감소적인 집합 함수의 최대화에 대한 엄밀한 근사 보장을 도출하고, 부분모듈성 비율과 곡률의 조합을 사용하며, 여러 실제 목표에서 이를 검증한다.

ABSTRACT

We investigate the performance of the standard Greedy algorithm for cardinality constrained maximization of non-submodular nondecreasing set functions. While there are strong theoretical guarantees on the performance of Greedy for maximizing submodular functions, there are few guarantees for non-submodular ones. However, Greedy enjoys strong empirical performance for many important non-submodular functions, e.g., the Bayesian A-optimality objective in experimental design. We prove theoretical guarantees supporting the empirical performance. Our guarantees are characterized by a combination of the (generalized) curvature $α$ and the submodularity ratio $γ$. In particular, we prove that Greedy enjoys a tight approximation guarantee of $\frac{1}α(1- e^{-γα})$ for cardinality constrained maximization. In addition, we bound the submodularity ratio and curvature for several important real-world objectives, including the Bayesian A-optimality objective, the determinantal function of a square submatrix and certain linear programs with combinatorial constraints. We experimentally validate our theoretical findings for both synthetic and real-world applications.

연구 동기 및 목표

• K-개수 제약 하에서 비부분모듈적이고 비감소적인 집합 함수를 최대화하는 부분집합 선택의 동기를 부여하고 분석한다.
• Greedy 성능을 한정하기 위해 일반화된 곡률과 부분모듈성 비율을 도입하고 활용한다.
• 곡률과 부분모듬성 비율에 관한 Greedy의 밀착한 근사 보장을 제공한다.
• Bayesian A-최적성 및 결정적 함수와 같은 중요한 목표에 대해 이들 매개변수를 한정한다.
• 합성 데이터와 실제 데이터 세트에서 경험적 타당성을 입증한다.

제안 방법

• 비부분모듈러 F에 대해 부분모듈성 비율(gamma)과 일반화 곡률(alpha)을 정의한다.
• Greedy 보장 F(S^K) >= (1/alpha)[1 - ((K - alpha*gamma)/K)^K] F(Omega*) 및 경계 >= (1/alpha) (1 - e^{-alpha*gamma}) F(Omega*)를 증명한다.
• 최악의 경우 보장이 LP 기반의 논증과 Omega*와의 중첩에 따른 그룹화를 통해 타이트함을 보인다.
• 특정 값(alpha 또는 gamma)이 특별한 값일 때(예: 부분모듈러 또는 초부분모듈러인 경우) 고전적 경bounds를 회복하는 해석을 제공한다.
• Bayesian A-optimality, determinantal 함수, 및 조합 제약이 있는 LP에 대해 gamma와 alpha를 한정한다.
• 합성 데이터와 실제 데이터에서 이론을 실험적으로 검증하고 Greedy를 SDP 기반 방법과 비교하며 실행 시간 향상을 보고한다.

실험 결과

연구 질문

• RQ1 K-개수 제약 하에서 비부분모듈적이고 비감소적인 집합 함수를 최대화할 때 Greedy의 밀착 근사 보장은 무엇인가?
• RQ2 곡률과 부분모듀성 비율을 어떻게 결합하여 부분모듈러 케이스를 벗어난 Greedy 성능을 특징지을 수 있는가?
• RQ3 Bayesian A-optimality, determinantal 목표, 및 조합 제약이 있는 LP와 같은 중요한 실제 목표에 대해 이 매개변수들을 한정할 수 있는가?
• RQ4 합성 데이터와 실제 데이터에 대한 실험 결과가 이론적 보장과 일치하고 계산상의 이점을 보여주는가?

주요 결과

• Greedy는 비부분모듈적이고 비감소적인 함수의 카디널리티 제약 최대화에 대해 (1/alpha)(1 - e^{-gamma alpha})의 밀착 근사 계수를 달성한다.
• 성능 보장은 특수한 경우에 고전적 경Bounds를 회수하고, gamma가 높을 때 곡률이 보장을 향상시킬 수 있음을 보여준다.
• Bayesian A-optimality 및 determinantal 함수 등 여러 목표에 대해 gamma와 alpha를 한정하여 Greedy에 실용적인 보장을 도출할 수 있다.
• Greedy는 실험 설계 맥락에서 종종 SDP 기반 방법과 해의 질에서 동등한 성능을 보이며 실행 시간은 수 배에서 수십 배 빨라질 수 있다.
• 합성 데이터와 실제 데이터에 대한 실험 결과는 greedy 부분모듈성 비율이 1에 가깝고 greedy 곡률이 일반적인 총 곡률보다 보통 작아 진하게 보이는 성능과 일치한다.