[논문 리뷰] Non-monotone Continuous DR-submodular Maximization: Structure and Algorithms

An Bian, Kfir Y. Levy외 2명|arXiv (Cornell University)|2017. 01. 01.

Complexity and Algorithms in Graphs인용 수 7

한 줄 요약

이 논문은 내림내림 내림내림 하향폐쇄 볼록 제약 조건 하에서 비단조화 DR-하위모듈러스 연속 함수를 최대화하기 위한 두 가지 알고리즘을 제안한다: 1/4 근사 보장이 있는 이단계 방법과 1/e 근사 보장 및 하위선형 수렴을 가지는 비단조화 프랭크-울프 변형. 정류점과 전역 최적해 사이의 기하적 성질을 규명하여 기존 비볼록 최적화 기법을 통해 증명 가능한 보장을 가능하게 한다.

ABSTRACT

DR-submodular continuous functions are important objectives with wide real-world applications spanning MAP inference in determinantal point processes (DPPs), and mean-field inference for probabilistic submodular models, amongst others. DR-submodularity captures a subclass of non-convex functions that enables both exact minimization and approximate maximization in polynomial time. In this work we study the problem of maximizing non-monotone DR-submodular continuous functions under general down-closed convex constraints. We start by investigating geometric properties that underlie such objectives, e.g., a strong relation between (approximately) stationary points and global optimum is proved. These properties are then used to devise two optimization algorithms with provable guarantees. Concretely, we first devise a two-phase algorithm with $1/4$ approximation guarantee. This algorithm allows the use of existing methods for finding (approximately) stationary points as a subroutine, thus, harnessing recent progress in non-convex optimization. Then we present a non-monotone Frank-Wolfe variant with $1/e$ approximation guarantee and sublinear convergence rate. Finally, we extend our approach to a broader class of generalized DR-submodular continuous functions, which captures a wider spectrum of applications. Our theoretical findings are validated on synthetic and real-world problem instances.

연구 동기 및 목표

• 일반적인 하향폐쇄 볼록 제약 조건 하에서 비단조화 DR-하위모듈러스 연속 함수를 최대화하는 문제를 다루는 것.
• DR-하위모듈러스 함수에서 근사 정류점과 전역 최적해를 연결하는 기하적 성질을 밝혀내는 것.
• 비단조화 DR-하위모듈러스 최대화를 위한 증명 가능한 근사 보장을 가진 최적화 알고리즘을 개발하는 것.
• 더 넓은 적용 가능성을 위해 일반화된 DR-하위모듈러스 연속 함수로 프레임워크를 확장하는 것.
• 이론적 결과를 시뮬레이션 및 실제 문제 사례에서 검증하는 것.

제안 방법

• 기존 방법을 활용해 근사 정류점을 찾는 서브루틴을 사용하는 이단계 알고리즘을 도입하여 1/4 근사 보장을 달성한다.
• 1/e 근사 보장과 하위선형 수렴 속도를 가지는 비단조화 프랭크-울프 변형을 개발한다.
• DR-하위모듈러스 함수에서 (근사적으로) 정류점과 전역 최적해 사이에 강력한 기하적 연결을 확립한다.
• DR-하위모듈러스성의 구조를 활용하여 비볼록성에도 불구하고 다항식 시간 근사 최대화를 가능하게 한다.
• 더 넓은 실세계 응용을 포괄하기 위해 프레임워크를 일반화된 DR-하위모듈러스 함수로 확장한다.
• 실제 적용 가능 영역을 모델링하기 위해 하향폐쇄 볼록 제약 조건을 활용한다.

실험 결과

연구 질문

• RQ1 비단조화 DR-하위모듈러스 함수에서 근사 정류점과 전역 최적해를 연결하는 기하적 성질은 무엇인가?
• RQ2 기존의 비볼록 최적화 기법은 일반 볼록 제약 조건 하에서 DR-하위모듈러스 최대화에 효과적으로 활용될 수 있는가?
• RQ3 프랭크-울프 스타일의 방법을 사용할 때 비단조화 DR-하위모듈러스 최대화의 근사 보장은 무엇인가?
• RQ4 DR-하위모듈러스 프레임워크는 더 넓은 적용 가능성을 위해 일반화된 연속 함수로 어떻게 확장할 수 있는가?
• RQ5 시뮬레이션 및 실제 문제 사례에서의 경험적 성능는 어떠한가?

주요 결과

• 논문은 DR-하위모듈러스 함수에서 근사 정류점과 전역 최적해 사이에 강력한 관계를 증명하여 효과적인 최적화를 가능하게 한다.
• 이단계 알고리즘은 정류점을 찾는 데 기존 방법을 활용하여 1/4 근사 보장을 달성한다.
• 비단조화 프랭크-울프 변형은 하위선형 수렴 속도를 가지며 1/e 근사 보장을 달성한다.
• 제안된 알고리즘은 DPP의 MAP 추론 및 확률적 하위모듈러스 모델의 평균장 추론을 포함한 다양한 실세계 문제에 적용 가능하다.
• 이론적 결과는 시뮬레이션 및 실제 문제 사례에서 경험적으로 검증되어 실용적 효과를 입증한다.
• 프레임워크는 일반화된 DR-하위모듈러스 연속 함수로 확장되어 다양한 최적화 과제에 대한 적용 가능성을 넓혔다.