[논문 리뷰] Fast Non-Monotone Submodular Maximisation Subject to a Matroid Constraint

Pau Segui‐Gasco, Hyo‐Sang Shin|arXiv (Cornell University)|2017. 03. 17.

Complexity and Algorithms in Graphs참고 문헌 22인용 수 5

한 줄 요약

이 논문은 매트로이드 제약 조건 하에서 비음수 비단조화 하위모듈라 최대화 문제에 대해 실용적인 $(\frac{1}{e} - \epsilon)$-근사 알고리즘을 제시한다. 감소하는 임계값 절차와 매끄럽게 처리된 측정 연속 그레디 방법을 결합함으로써, $O\left(\frac{nr^2}{\epsilon^4}\left(\frac{\bar{d} + \underline{d}}{\bar{d}}\right)^2 \log^2\left(\frac{n}{\epsilon}\right)\right)$개의 값 오ракูล 호출을 달성하며, 이는 이전의 연속 그레디 방법에 비해 효율성이 크게 향상되었다.

ABSTRACT

In this work we present the first practical $\left(\frac{1}{e}-ε ight)$-approximation algorithm to maximise a general non-negative submodular function subject to a matroid constraint. Our algorithm is based on combining the decreasing-threshold procedure of Badanidiyuru and Vondrak (SODA 2014) with a smoother version of the measured continuous greedy algorithm of Feldman et al. (FOCS 2011). This enables us to obtain an algorithm that requires $O(\frac{nr^2}{ε^4} \big(\frac{a+b}{a}\big)^2 \log^2({\frac{n}ε}))$ value oracle calls, where $n$ is the cardinality of the ground set, $r$ is the matroid rank, and $ b, a \in \mathbb{R}^+$ are the absolute values of the minimum and maximum marginal values that the function $f$ can take i.e.: $ -b \leq f_S(i) \leq a$, for all $i\in E$ and $S\subseteq E$, (here, $E$ is the ground set). The additional value oracle calls with respect to the work of Badanidiyuru and Vondrak come from the greater spread in the sampling of the multilinear extension that the possibility of negative marginal values introduce.

연구 동기 및 목표

• 매트로이드 제약 조건 하에서 일반적인 비음수 하위모듈라 함수를 최대화하기 위한 실용적이고 효율적인 근사 알고리즘을 개발하기 위해.
• 비단조화 하위모듈라 최적화에서 이론적 보장과 실용적 적용 간 격차를 메우기 위해.
• 기존 연속 그레디 알고리즘의 높은 계산 비용(값 오라클 호출 수가 $O(n^6)$에서 $O(n^8)$에 이르기까지)을 줄이기 위해.
• 이전에 단조 함수에만 사용된 감소 임계값 프레임워크를 음수 마진 값이 존재하는 비단조화 설정으로 확장하기 위해.
• 기계 학습 및 요약과 같은 대규모 도메인에서 하위모듈라 최대화의 확장 가능한 적용을 가능하게 하기 위해.

제안 방법

• Badanidiyuru와 Vondrak(2014)의 감소 임계값 절차와 Feldman 등(2011)의 측정 연속 그레디 알고리즘의 매끄러운 변형을 결합한다.
• 연속 그레디 과정에서 단계 수와 샘플링 요구량을 줄이기 위해 감소 임계값 전략을 사용한다.
• 음수 마진 값의 존재를 고려해 다중선형 확장에 대한 매끄러운 업데이트 규칙을 도입함으로써 샘플링 안정성을 향상시킨다.
• 값 오라클 호출 수를 $O\left(\frac{nr^2}{\epsilon^4}\left(\frac{\bar{d} + \underline{d}}{\bar{d}}\right)^2 \log^2\left(\frac{n}{\epsilon}\right)\right)$로 제한하며, 여기서 $\bar{d}$와 $\underline{d}$는 최대 및 최소 절대 마진 값이다.
• 매트로이드의 구조를 활용해 효율적인 탈당성 검사를 수행함으로써, $O\left(\frac{n}{\epsilon^2}\log\frac{r}{\epsilon}\right)$개의 독립성 오라클 호출을 수행한다.
• 제어된 분산을 가진 샘플링을 통해 다중선형 확장을 추정하며, 각 추정치에 대해 $O\left(\frac{r^2}{\epsilon^2}\left(\frac{\bar{d} + \underline{d}}{\bar{d}}\right)^2 \log n\right)$개의 샘플을 사용한다.

실험 결과

연구 질문

• RQ1 음수 마진 값을 가진 비단조화 하위모듈라 함수에 대해 감소 임계값 프레임워크를 적응시킬 수 있는가?
• RQ2 매트로이드 제약 조건 하에서 비단조화 하위모듈라 최대화 문제에 대해 $(\frac{1}{e} - \epsilon)$-근사 비율을 달성하기 위해 필요한 최소 값 오라클 호출 수는 얼마인가?
• RQ3 음수 마진 값으로 인해 증가하는 분산을 처리하기 위해 측정 연속 그레디 알고리즘을 어떻게 매끄럽게 개선할 수 있는가?
• RQ4 근사 보장을 훼손하지 않으면서 연속 그레디 방법의 계산 비용을 줄일 수 있는가?
• RQ5 비단조화 설정에서 오라클 쿼리 수를 크게 줄이면서도 높은 근사 품질을 유지하는 것이 가능한가?

주요 결과

• 제안된 알고리즘은 매트로이드 제약 조건 하에서 일반적인 비음수 하위모듈라 함수에 대해 $(\frac{1}{e} - \epsilon)$-근사 비율을 달성하며, 이는 기존에 알려진 최고의 이론적 한계와 일치한다.
• 값 오라클 호출 수가 $O\left(\frac{nr^2}{\epsilon^4}\left(\frac{\bar{d} + \underline{d}}{\bar{d}}\right)^2 \log^2\left(\frac{n}{\epsilon}\right)\right)$로, 이 근사 비율을 달성하는 데 가장 빠른 알려진 실행 시간을 제공한다.
• 독립성 오라클 호출 수는 $O\left(\frac{n}{\epsilon^2}\log\frac{r}{\epsilon}\right)$로, 큰 지면 집합에 대해서도 확장 가능하다.
• 알고리즘의 성능은 마진 값의 분포를 반영하는 비율 $\frac{\bar{d} + \underline{d}}{\bar{d}}$에 민감하며, 음수 값이 존재할수록 샘플링 비용이 증가한다.
• 감소 임계값 전략을 사용함으로써 표준 연속 그레디 대비 단계당 샘플 수를 줄여 효율성을 향상시켰다.
• 이 알고리즘은 매트로이드 제약 조건 하에서 비단조화 하위모듈라 최대화 문제에 대해 $(\frac{1}{e} - \epsilon)$-근사 비율을 달성하는 첫 번째 실용적 구현이다.