[논문 리뷰] Continuous Submodular Function Maximization

Patton, Kalen, Joachim M. Buhmann외 1명|arXiv (Cornell University)|2020. 06. 24.

Complexity and Algorithms in Graphs참고 문헌 99인용 수 4

한 줄 요약

이 논문은 증명 가능 보장을 갖춘 비볼록 목표 함수 최적화를 위한 프레임워크인 연속 하위모듈러 함수 최대화를 소개한다. 다항 시간 알고리즘을 가능하게 하는 핵심 성질로 연속 DR-하위모듈러성을 확립하고, 기존 방법보다 우수한 성능을 보이는 증명 가능 방법들인 Shrunken Frank-Wolfe와 Two-Phase Frank-Wolfe를 제안한다. 이는 영향력 최대화 및 수익 최적화 과제에서 성능을 뛰어나게 한다.

ABSTRACT

Continuous submodular functions are a category of generally non-convex/non-concave functions with a wide spectrum of applications. The celebrated property of this class of functions - continuous submodularity - enables both exact minimization and approximate maximization in poly. time. Continuous submodularity is obtained by generalizing the notion of submodularity from discrete domains to continuous domains. It intuitively captures a repulsive effect amongst different dimensions of the defined multivariate function. In this paper, we systematically study continuous submodularity and a class of non-convex optimization problems: continuous submodular function maximization. We start by a thorough characterization of the class of continuous submodular functions, and show that continuous submodularity is equivalent to a weak version of the diminishing returns (DR) property. Thus we also derive a subclass of continuous submodular functions, termed continuous DR-submodular functions, which enjoys the full DR property. Then we present operations that preserve continuous (DR-)submodularity, thus yielding general rules for composing new submodular functions. We establish intriguing properties for the problem of constrained DR-submodular maximization, such as the local-global relation. We identify several applications of continuous submodular optimization, ranging from influence maximization, MAP inference for DPPs to provable mean field inference. For these applications, continuous submodularity formalizes valuable domain knowledge relevant for optimizing this class of objectives. We present inapproximability results and provable algorithms for two problem settings: constrained monotone DR-submodular maximization and constrained non-monotone DR-submodular maximization. Finally, we extensively evaluate the effectiveness of the proposed algorithms.

연구 동기 및 목표

• 연속 영역으로의 이산 하위모듈러성 일반화를 체계화하기 위해 연속 하위모듈러성을 정의한다.
• 약한 감소 수익성(weak diminishing returns) 성질을 통해 연속 DR-하위모듈러 함수를 식별하고 특성화한다.
• 제약 조건이 있는 단조 및 비단조성 DR-하위모듈러 최대화를 위한 증명 가능 다항 시간 알고리즘을 개발한다.
• 실제 응용 분야인 영향력 최대화 및 연속 할당을 통한 수익 최적화에서 이러한 알고리즘이 효과적임을 입증한다.
• DR-하위모듈러 최대화의 이론적 성질, 예를 들어 국소-전역 수렴 관계를 수립한다.

제안 방법

• 연속 영역에서 하위모듈러성과 동치인 약한 감소 수익성(DR) 성질을 통해 연속 하위모듈러성을 도입한다.
• 완전한 DR 성질을 갖는 하위집합으로서 연속 DR-하위모듈러 함수를 정의하여 더 강력한 이론적 보장을 가능하게 한다.
• 연속(또는 DR-)하위모듈러성을 유지하는 복합 규칙을 제안하여 새로운 하위모듈러 함수의 체계적 구축을 가능하게 한다.
• Shrunken Frank-Wolfe와 Two-Phase Frank-Wolfe라는 두 가지 새로운 알고리즘을 개발하였으며, 다양한 스텝 사이즈 전략 하에서 수렴 보장을 갖춘다.
• 국소-전역 수렴 성질을 통합하여, DR-하위모듈러 최대화에서 국소적으로 정적(근사) 점이 전역 최적해와 일정 요인 이내에 있음을 연결한다.
• 일반 마케팅 전략을 적용한 영향력 최대화 및 로그-하위모듈러 모델에서의 평균 장 이론 추론과 같은 실제 문제에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 하위모듈러성은 어떻게 이산 영역에서 연속 영역으로 일반화될 수 있으며, 이러한 함수의 핵심 수학적 성질은 무엇인가?
• RQ2 연속 설정에서 연속 하위모듈러성과 감소 수익성(DR) 성질 간의 관계는 무엇인가?
• RQ3 어떤 연산이 연속(또는 DR-)하위모듈러성을 유지하는가? 이를 통해 새로운 하위모듈러 함수를 체계적으로 구축할 수 있는가?
• RQ4 제약 조건이 있는 연속 DR-하위모듈러 최대화를 위한 증명 가능 다항 시간 알고리즘을 설계할 수 있으며, 기존 방법과 비교해 어떻게 성능을 냈는가?
• RQ5 제안된 알고리즘은 실세계 최적화 문제, 예를 들어 영향력 최대화 및 수익 최적화에서 실제로 어떻게 성능을 내는가?

주요 결과

• 연속 DR-하위모듈러 함수는 약한 감소 수익성 성질을 갖는다. 이 성질을 갖는 하위집합은 더 강력한 최적화 보장을 가능하게 한다.
• 국소-전역 수렴 성질이 성립한다: 연속 DR-하위모듈러 함수의 임의의 국소(근사) 정적 점은 전역 최적해와 일정 요인 이내에 있다.
• 실제 그래프에서 Shrunken Frank-Wolfe와 Two-Phase Frank-Wolfe는 PGA 기반 방법보다 더 높은 기대 수익을 달성했으며, Two-Phase FW가 가장 빠르게 수렴했다.
• "Reality Mining" 서브그래프(n=5)에서 Shrunken FW는 사용자 A(가장 영향력 있는 사용자)에게 6.1 단위를 할당했고, 그 다음으로 C(3.3), E(0.6)에 할당하여 네트워크 영향력 패턴과 일치했다.
• 모든 실세계 그래프에서(크기 n=217에서 n=4039까지) Two-Phase FW는 리프시츠 스텝 사이즈를 사용할 경우 가장 높은 목표 함수 값을 기록했고 수렴 속도도 가장 빠르게 나타났다.
• PGA 알고리즘은 리프시츠 상수 L 또는 상수 C의 튜닝이 필요로 했지만, Shrunken FW와 Two-Phase FW는 무관심 스텝 사이즈 전략을 사용할 경우 하이퍼파rameter 튜닝이 필요로 하지 않았다.