[논문 리뷰] Polyhedral aspects of Submodularity, Convexity and Concavity

Rishabh Iyer, Jeff Bilmes|arXiv (Cornell University)|2015. 06. 24.

Complexity and Algorithms in Graphs참고 문헌 7인용 수 13

한 줄 요약

이 논문은 초모듈라 함수와 볼록성 및 오목성 사이의 포괄적인 이원성을 초모듈라 함수의 초미분, 날카운 모듈라 상계, 오목 확장 도입을 통해 수립한다. 하위모듈라 최대화 문제는 오목 유사 최적성 조건을 통해 분석 가능하며, 페인체르 이원성과 이산 분리 정리가 오목 시각으로 확장되어 하위모듈라 함수가 이산적 볼록 및 오목 행동의 하이브리드임을 드러낸다.

ABSTRACT

Seminal work by Edmonds and Lovasz shows the strong connection between submodularity and convexity. Submodular functions have tight modular lower bounds, and subdifferentials in a manner akin to convex functions. They also admit poly-time algorithms for minimization and satisfy the Fenchel duality theorem and the Discrete Seperation Theorem, both of which are fundamental characteristics of convex functions. Submodular functions also show signs similar to concavity. Submodular maximization, though NP hard, admits constant factor approximation guarantees. Concave functions composed with modular functions are submodular, and they also satisfy diminishing returns property. This manuscript provides a more complete picture on the relationship between submodularity with convexity and concavity, by extending many of the results connecting submodularity with convexity to the concave aspects of submodularity. We first show the existence of superdifferentials, and efficiently computable tight modular upper bounds of a submodular function. While we show that it is hard to characterize this polyhedron, we obtain inner and outer bounds on the superdifferential along with certain specific and useful supergradients. We then investigate forms of concave extensions of submodular functions and show interesting relationships to submodular maximization. We next show connections between optimality conditions over the superdifferentials and submodular maximization, and show how forms of approximate optimality conditions translate into approximation factors for maximization. We end this paper by studying versions of the discrete seperation theorem and the Fenchel duality theorem when seen from the concave point of view. In every case, we relate our results to the existing results from the convex point of view, thereby improving the analysis of the relationship between submodularity, convexity, and concavity.

연구 동기 및 목표

• 하위모듈라 함수와 볼록성 및 오목성 사이의 이원성을 최적화 맥락에서 체계화하는 것.
• 하위모듈라 함수의 초미분 및 초기울기에 대한 다면체 프레임워크를 구축하여 볼록 분석에서의 하위미분과 유사하게 하는 것.
• 하위모듈라 함수의 오목 확장을 수립하고, 하위모듈라 최대화의 근사 알고리즘과 연관짓는 것.
• 페인체르 이원성 및 이산 분리 정리와 같은 고전적 결과를 하위모듈라 함수의 오목 측면으로 확장하는 것.
• 이러한 오목 성질이 정확히 성립하는 하위모듈라 함수의 부분군(예: M♮-오목)을 식별하여 정확하거나 근사 알고리즘을 가능하게 하는 것.

제안 방법

• 일반 하위모듈라 함수에 대해 내부 및 외부 경계를 제공하는 R^V의 다면체 분할로서 초미분의 개념을 도입한다.
• 일반화된 초미분 구조를 활용해 효율적으로 계산 가능한 날카운 모듈라 상계를 개발한다.
• 특히 다항식 확장과 특정 방향에서의 오목 행동과 관련하여 하위모듈라 함수의 오목 확장을 제안한다.
• 초미분 기반 하위모듈라 최대화의 최적성 조건을 유도하고, 이와 근사 보장과의 연결을 맺는다.
• 페인체르 이원성과 이산 분리 정리를 오목 시각에서 재해석하여, 제한된 설정 하에서의 타당성을 보여준다.
• 민코프스키 합 정리와 다면체 기하학을 활용해 로바슈 확장과 오목 확장 간의 관계를 분석하며, 특히 합 연산에서의 관계를 중심으로 다룬다.

실험 결과

연구 질문

• RQ1 일반 하위모듈라 함수에 대해 초미분 및 초기울기를 체계적으로 특성화할 수 있으며, 어떻게 근사화할 수 있는가?
• RQ2 하위모듈라 최적화에서 오목 시각으로 볼 때 페인체르 이원성과 이산 분리 정리는 어느 정도 유효한가?
• RQ3 초미분 구조가 정확하고 효율적 최대화를 가능하게 하는 하위모듈라 함수의 부분군(예: M♮-오목)이 존재하는가?
• RQ4 제안된 오목 확장은 기존의 연속적 근사화(예: 다항식 확장)와 어떻게 관련이 있는가?
• RQ5 초미분과 하위모듈라 최대화의 근사 알고리즘 간의 관계를 체계화하고 알고리즘적으로 활용할 수 있는가?

주요 결과

• 논문은 하위모듈라 함수가 볼록 분석에서 하위미분과 유사한 초미분 구조를 지닌다는 것을 수립하며, 이로 인해 그 오목적 성질을 다면체적으로 특성화할 수 있다.
• 이 연구는 하위모듈라 함수에 대해 날카운 모듈라 상계가 존재하고, 초미분의 내부 및 외부 경계를 이용해 이를 효율적으로 계산할 수 있음을 증명한다.
• 페인체르 이원성과 이산 분리 정리는 오목 측면으로 확장 가능하지만, 제한된 설정 하에서만 성립한다.
• M♮-오목 함수의 경우 초미분 구조는 정확하며, ∂^f(X) = ∂^f_Δ(2,2)(X)를 만족하여 정확한 다항식 시간 알고리즘이 가능할 수 있다.
• 근사 초미분은 하위모듈라 최대화의 근사 알고리즘을 유도하며, 논문은 초미분 근사와 알고리즘 성능 간의 체계적 연결 고리를 제안한다.
• 로바슈 확장은 민코프스키 합 성질을 만족하며, 본 논문은 제한된 설정 하에서 제안된 오목 확장에도 유사한 성질이 성립하는지 조사한다.