[논문 리뷰] Multivariate Submodular Optimization

Richard Santiago, F. Bruce Shepherd|arXiv (Cornell University)|2016. 12. 15.

Complexity and Algorithms in Graphs참고 문헌 30인용 수 3

한 줄 요약

이 논문은 다변량 서브모듈라 최적화(MVSO)를 도입한다. MVSO는 단일 에이전트 서브모듈라 최적화의 일반화로, 서로소 집합 분할 S₁ ⊎ ⋯ ⊎ Sₖ ∈ ℱ 위에서 연합 목적 함수 f(S₁,…,Sₖ)를 최적화하는 문제이다. 근사 보장은 다음과 같다: 최대화의 경우, 단조성과 비단조성 케이스에 대해 각각 α(1−1/e) 및 α·0.385 근사 비율을 달성하며, 이는 기존 SO의 보장을 그대로 유지한다. 최소화의 경우, 곡률에 의존하는 근사 비율 β·n/(1+(n−1)(1−c))을 제공하며, 이는 거의 최적이다.

ABSTRACT

Submodular functions have found a wealth of new applications in data science and machine learning models in recent years. This has been coupled with many algorithmic advances in the area of submodular optimization: (SO) $\min/\max~f(S): S \in \mathcal{F}$, where $\mathcal{F}$ is a given family of feasible sets over a ground set $V$ and $f:2^V ightarrow \mathbb{R}$ is submodular. In this work we focus on a more general class of \emph{multivariate submodular optimization} (MVSO) problems: $\min/\max~f (S_1,S_2,\ldots,S_k): S_1 \uplus S_2 \uplus \cdots \uplus S_k \in \mathcal{F}$. Here we use $\uplus$ to denote disjoint union and hence this model is attractive where resources are being allocated across $k$ agents, who share a `joint' multivariate nonnegative objective $f(S_1,S_2,\ldots,S_k)$ that captures some type of submodularity (i.e. diminishing returns) property. We provide some explicit examples and potential applications for this new framework. For maximization, we show that practical algorithms such as accelerated greedy variants and distributed algorithms achieve good approximation guarantees for very general families (such as matroids and $p$-systems). For arbitrary families, we show that monotone (resp. nonmonotone) MVSO admits an $α(1-1/e)$ (resp. $α\cdot 0.385$) approximation whenever monotone (resp. nonmonotone) SO admits an $α$-approximation over the multilinear formulation. This substantially expands the family of tractable models for submodular maximization. For minimization, we show that if SO admits a $β$-approximation over \emph{modular} functions, then MVSO admits a $\frac{β\cdot n}{1+(n-1)(1-c)}$-approximation where $c\in [0,1]$ denotes the curvature of $f$, and this is essentially tight. Finally, we prove that MVSO has an $αk$-approximation whenever SO admits an $α$-approximation over the convex formulation.

연구 동기 및 목표

• 서로소 집합 분할 위에서 연합 목적 함수 f(S₁,…,Sₖ)를 최적화하는 새로운 다변량 서브모듈라 최적화(MVSO) 문제의 체계화 및 분석.
• 최대화 및 최소화의 두 경우에 대해 MVSO와 고전적 단일 에이전트 서브모듈라 최적화(SO) 간의 근사 갭(MV gap)을 분석.
• 매트로이드 및 p-시스템을 포함한 일반적인 가용성 가족 ℱ 하에서 MVSO에 대해 날카로운 근사 한계를 확립.
• MVSO 최소화 문제에서 곡률의 역할을 탐색하고, 곡률에 의존하는 근사 요인을 유도.
• MVSO가 분리 가능한 다중 에이전트 모델보다 더 풍부한 구조를 포괄하며, 기계 학습 및 데이터 과학 분야의 응용 가능성을 탐색.

제안 방법

• MVSO의 공식적 프레임워크 제안: S₁ ⊎ ⋯ ⊎ Sₖ ∈ ℱ 라는 제약 조건 하에 f(S₁,…,Sₖ)를 최소화/최대화하는 문제로, f는 k-다중서브모듈라 함수이다.
• k-다중서브모듈라성의 개념을 도입하여, 다중 집합 간의 감소 수익을 가지는 다변량 함수로 서브모듈라성을 일반화.
• 다양선형 근사화와 볼록 최적화를 활용하여, 기존 SO 근사 비율에 기반한 MVSO 근사 보장을 도출.
• 가속화된 그레디언트 알고리즘과 분산 알고리즘을 MVSO에 적용하여, 매트로이드 및 p-시스템과 같은 일반적인 제약 조건 하에서도 양호한 근사 비율을 달성함을 보여줌.
• 확률적 분석과 체르노프 불등식을 활용하여, 값 오ракูล 모델에서의 근사 가능성에 대한 하한을 증명.
• 이야르 등이 제안한 구성 방식을 다변량 함수로 확장하여 곡률 기반 하한을 도입하고, 근사 비율의 날카로움을 입증.

실험 결과

연구 질문

• RQ1 최대화 문제에 대해 다변량 서브모듈라 최적화와 고전적 서브모듈라 최적화 간의 근사 갭(MV gap)은 무엇인가?
• RQ2 가속화된 그레디언트 알고리즘과 분산 방법과 같은 실용적 알고리즘이 MVSO 프레임워크에서 좋은 근사 보장을 달성할 수 있는가?
• RQ3 다변량 목적 함수의 곡률이 MVSO 최소화 문제의 근사 가능성에 어떤 영향을 미치는가?
• RQ4 MVSO 프레임워크는 분리 가능한 다중 에이전트 서브모듈라 최적화(MASO)보다 엄밀히 더 표현력이 강한가?
• RQ5 값 오라클 모델에서 MVSO 문제를 근사하는 데 있어 정보 이론적 한계는 무엇인가?

주요 결과

• 단조성 MVSO 최대화의 경우 근사 비율은 α(1−1/e)이며, 여기서 α는 다중선형 근사화 하에서 해당 단일 에이전트 SO 문제의 근사 비율이다.
• 비단조성 MVSO 최대화의 경우 근사 비율은 α·0.385이며, 역시 SO 근사 비율 α에 기반한다.
• 단조성 최대화의 MV 갭은 하한 구축을 통해 날카로운 것으로 입증되었으며, 이는 일치하는 하한을 제공한다.
• MVSO 최소화의 경우 근사 비율은 β·n/(1+(n−1)(1−c))이며, 여기서 β는 모듈라 함수 위에서의 SO 근사 비율이고, c는 f의 총 곡률이다.
• 이 최소화 근사 비율은 거의 최적이다. 특히 ℱ = {V}일 경우, o(n/log n / (1 + (n/log n −1)(1−c)))의 곡률 기반 하한을 통해 이를 증명하였다.
• 논문은 값 오라클 모델에서 곡률을 고려하지 않는 한 MVSO는 o(n/log n)의 비율로 근사될 수 없다고 보여주며, 곡률 인식 분석의 必요성을 강조한다.