[논문 리뷰] Greed is Still Good: Maximizing Monotone Submodular+Supermodular Functions

Wenruo Bai, Jeffrey A. Bilmes|arXiv (Cornell University)|2018. 01. 23.

Complexity and Algorithms in Graphs참고 문헌 7인용 수 13

한 줄 요약

이 논문은 기수 제약 조건 또는 매트로이드 제약 조건 하에서 단조 감소하는 부분모듈라 함수와 단조 초모듈라 함수의 합을 최대화하기 위한 근사 알고리즘을 제안한다. $\kappa_f$ 및 $\kappa^g$와 같은 곡률 측도를 도입함으로써, 각각 기수 제약 조건과 $p$-매트로이드 제약 조건 하에서 근사 보장이 $\frac{1}{\kappa_f}\left[1-e^{-(1-\kappa^g)\kappa_f}\right]$ 및 $\frac{1-\kappa^g}{(1-\kappa^g)\kappa_f + p}$로 엄밀하게 도출되며, 이는 일반적으로 근사가 불가능한 문제임에도 불구하고 그레디언트 및 반-기울기 방법이 거의 최적의 성능을 달성함을 보여준다.

ABSTRACT

We analyze the performance of the greedy algorithm, and also a discrete semi-gradient based algorithm, for maximizing the sum of a suBmodular and suPermodular (BP) function (both of which are non-negative monotone non-decreasing) under two types of constraints, either a cardinality constraint or $p\geq 1$ matroid independence constraints. These problems occur naturally in several real-world applications in data science, machine learning, and artificial intelligence. The problems are ordinarily inapproximable to any factor (as we show). Using the curvature $κ_f$ of the submodular term, and introducing $κ^g$ for the supermodular term (a natural dual curvature for supermodular functions), however, both of which are computable in linear time, we show that BP maximization can be efficiently approximated by both the greedy and the semi-gradient based algorithm. The algorithms yield multiplicative guarantees of $\frac{1}{κ_f}\left[1-e^{-(1-κ^g)κ_f} ight]$ and $\frac{1-κ^g}{(1-κ^g)κ_f + p}$ for the two types of constraints respectively. For pure monotone supermodular constrained maximization, these yield $1-κ^g$ and $(1-κ^g)/p$ for the two types of constraints respectively. We also analyze the hardness of BP maximization and show that our guarantees match hardness by a constant factor and by $O(\ln(p))$ respectively. Computational experiments are also provided supporting our analysis.

연구 동기 및 목표

• 일반적으로 근사가 불가능한 문제이지만, 기수 제약 조건 또는 매트로이드 제약 조건 하에서 단조 감소 부분모듈라 함수와 단조 초모듈라 함수의 합을 최대화하는 문제에 도전하기 위해.
• 부분모듈라 함수의 일반화된 곡률 $\kappa_f$와 유사하게, 초모듈라 함수에 대한 이중 곡률 측도 $\kappa^g$를 도입하고 형식화하기 위해.
• 기수 제약 조건과 $p$-매트로이드 제약 조건 하에서 그레디언트 알고리즘과 이산 반-기울기 알고리즘의 근사 보장을 수립하기 위해.
• 유도된 보장이 문제의 본질적 난이도에 대해 상수 인자 또는 로그 인자 정도로 일치함을 보여주기 위해.
• 계산 실험을 통해 이론적 결과를 검증하여 제안된 알고리즘의 실용적 효율성을 입증하기 위해.

제안 방법

• 초모듈라 함수에 대한 새로운 곡률 측도 $\kappa^g$를 도입하며, 이는 $\kappa^g = \min_{v \in V} \frac{g(V \setminus \{v\})}{g(V)}$로 정의되며, 초모듈라 성격의 정도를 캡처한다.
• 가능한 집합에 제약을 두고, $f(X) + g(X)$의 경계 증가량이 가장 큰 원소를 반복적으로 선택하는 그레디언트 알고리즘을 제안한다.
• 초모듈라 항목의 하부기울기를 사용하여 선택을 이끄는 이산 반-기울기 기반 알고리즘을 설계하여, 비부분모듈라 성분에 대한 강건성을 향상시킨다.
• 곡률 측도를 사용하여 근사 보장을 유도한다: 기수 제약 조건 하에서는 $\frac{1}{\kappa_f}\left[1 - e^{-(1 - \kappa^g)\kappa_f}\right]$, $p$-매트로이드 제약 조건 하에서는 $\frac{1 - \kappa^g}{(1 - \kappa^g)\kappa_f + p}$.
• 두 알고리즘이 문제의 이론적 난이도에 대해 상수 인자 또는 $O(\ln p)$ 인자 정도로 일치하는 보장을 달성함을 증명한다.
• $\kappa_f$ 및 $\kappa^g$가 선형 시간 내에 계산될 수 있음을 입증하여, 알고리즘의 실용적 구현 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 기수 제약 조건 또는 매트로이드 제약 조건 하에서, 그레디언트 및 반-기울기 알고리즘이 단조 감소 부분모듈라 함수와 단조 초모듈라 함수의 합을 최대화하는 데 있어 비트리비얼한 근사 보장을 달성할 수 있는가?
• RQ2 부분모듈라 성분과 초모듈라 성분 간의 상호작용을 포괄할 수 있는 곡률 기반 측도는 무엇인가?
• RQ3 그레디언트 및 반-기울기 알고리즘의 근사 보장은 문제의 본질적 난이도와 어떻게 비교되는가?
• RQ4 곡률 측도 $\kappa_f$ 및 $\kappa^g$는 효율적으로 계산될 수 있는가? 이는 알고리즘의 실용적 구현 가능성을 보장하는가?
• RQ5 이론적 보장은 계산 실험에서 관찰된 경험적 성능과 일치하는가?

주요 결과

• 기수 제약 조건 하에서 그레디언트 알고리즘이 $\frac{1}{\kappa_f}\left[1 - e^{-(1 - \kappa^g)\kappa_f}\right]$의 근사 보장을 달성한다.
• $p$-매트로이드 제약 조건 하에서 이산 반-기울기 알고리즘이 $\frac{1 - \kappa^g}{(1 - \kappa^g)\kappa_f + p}$의 보장을 달성한다.
• 순수한 단조 초모듈라 최대화 문제에 대해서는 보장이 각각 $1 - \kappa^g$ 및 $\frac{1 - \kappa^g}{p}$로 감소하며, 이는 알려진 난이도 경계와 일치한다.
• $\kappa_f$ 및 $\kappa^g$ 곡률 측도는 선형 시간 내에 계산 가능하여, 알고리즘의 효율적 구현이 가능하다.
• 근사 보장은 각각 상수 인자 및 $O(\ln p)$ 인자 정도로 문제의 이론적 난이도와 일치하여, 보장의 엄밀함을 입증한다.
• 계산 실험을 통해 알고리즘이 이론적 보장에 의해 예측된 대로 작동함을 확인하여 분석의 타당성을 검증한다.