[논문 리뷰] Submodular Functions: from Discrete to Continous Domains

Francis Bach|arXiv (Cornell University)|2015. 11. 02.

Complexity and Algorithms in Graphs참고 문헌 62인용 수 31

한 줄 요약

이 논문은 확률 측도를 통한 볼록 연속 확장을 도입하여, 이산 집합에서의 하위모듈라 함수 이론을 연속 영역으로 확장한다. 이 확장을 통해 원래 함수가 하위모듈라일 때이고 그때서만 이 확장이 볼록 임을 증명한다. 주요 기여는 하위모듈라 함수 최소화 문제가 연속 확장에서 볼록 최적화 문제로 환원됨을 보여주어 수렴 보장을 갖는 효율적 알고리즘을 가능하게 한다.

ABSTRACT

Submodular set-functions have many applications in combinatorial optimization, as they can be minimized and approximately maximized in polynomial time. A key element in many of the algorithms and analyses is the possibility of extending the submodular set-function to a convex function, which opens up tools from convex optimization. Submodularity goes beyond set-functions and has naturally been considered for problems with multiple labels or for functions defined on continuous domains, where it corresponds essentially to cross second-derivatives being nonpositive. In this paper, we show that most results relating submodularity and convexity for set-functions can be extended to all submodular functions. In particular, (a) we naturally define a continuous extension in a set of probability measures, (b) show that the extension is convex if and only if the original function is submodular, (c) prove that the problem of minimizing a submodular function is equivalent to a typically non-smooth convex optimization problem, and (d) propose another convex optimization problem with better computational properties (e.g., a smooth dual problem). Most of these extensions from the set-function situation are obtained by drawing links with the theory of multi-marginal optimal transport, which provides also a new interpretation of existing results for set-functions. We then provide practical algorithms to minimize generic submodular functions on discrete domains, with associated convergence rates.

연구 동기 및 목표

• 이차원 실수 공간 R^n의 컴팩트 부분집합을 포함한 임의의 연속 영역으로 하위모듈라 집합 함수의 볼록 확장을 일반화하는 것.
• 연속 영역에서 원래 함수가 하위모듈라일 때이고 그때서만 연속 확장이 볼록임을 입증하여, 이는 이론적으로 이산 영역에서의 기초 결과를 연속 영역으로 확장하는 것이다.
• 하위모듈라 함수 최소화 문제가 연속 확장에서 볼록 최적화 문제로 환원됨을 보여주어 볼록 최적화 도구의 활용을 가능하게 하는 것.
• 이산 및 연속 영역에서 일반 하위모듈라 함수를 최소화하기 위한 실용적 알고리즘을 개발하고, 수렴 속도가 보장된다는 점을 입증하는 것.
• 다중 마진 최적 운반 이론과의 연결을 통해 새로운 통찰을 제공하며, 기존 결과에 대한 직관적인 증명과 재해석을 가능하게 하는 것.

제안 방법

• 영역 X = ∏ᵢ Xᵢ 위의 확률 측도를 사용하여 하위모듈라 함수의 연속 확장을 제안하며, μ ∈ ℙ⊗(X)에 대해 확장 함수 h(μ) = ∫ H(x) dμ(x)로 정의한다.
• 하위모듈라성과 음의 교차 이阶 도함수 간의 등가성을 이용하여, 이 확장이 볼록임은 원함수 H가 하위모듈라일 때이고 그때서만 성립함을 증명한다.
• 이중성과 최적 운반 이론을 활용하여, X 상에서 H를 최소화하는 것과 그 볼록 확장 h(μ)를 μ ∈ ℙ⊗(X) 상에서 최소화하는 것이 동치임을 확립한다.
• 확장에 분리 가능한 볼록 함수 G를 추가하여 정규화된 볼록 완화 문제를 도입함으로써, 프랭크-울프 방법에 적합한 강한 볼록인 이중 문제를 얻는다.
• 다중 마진 최적 운반 이론을 사용하여, h_closure(μ) = inf_{γ∈Π(μ)} ∫ H(x) dγ(x)로 정의된 H의 볼록 봉우리(Envelope)를 정의함으로써, 날카로운 볼록 완화를 가능하게 한다.
• 함수 평가와 이중성에 기반한 실용적 알고리즘을 개발하며, 볼록 최적화 이론에서 유도된 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 하위모듈라 집합 함수의 볼록 확장을 연속 영역으로 일반화할 수 있는가?
• RQ2 일반적인 연속 설정에서 연속 확장의 볼록성과 원함수의 하위모듈라성은 동치인가?
• RQ3 하위모듈라 함수 최소화 문제의 연속 영역에서 볼록 최적화 문제로 재구성할 수 있는가? 만약 가능하면 그 방법은 무엇인가?
• RQ4 하위모듈라 함수 최소화에 볼록 확장을 적용할 경우, 알고리즘 효율성과 수렴성 측면에서 어떤 계산적 이점이 있는가?
• RQ5 최적 운반 이론과의 연결을 어떻게 활용하여 하위모듈라 함수 성질에 대한 새로운 해석과 증명을 도출할 수 있는가?

주요 결과

• X → ℝ 으로 정의된 하위모듈라 함수 H의 연속 확장, 즉 X 위의 곱 측도 공간 ℙ⊗(X) 상에서의 확장 h(μ)는 H가 하위모듈라일 때이고 그때서만 볼록이다.
• X 상에서 원래 하위모듈라 함수 H를 최소화하는 것은 ℙ⊗(X) 상에서 그 볼록 확장 h(μ)를 최소화하는 것과 동치이며, 이는 볼록 최적화 기법의 적용을 가능하게 한다.
• h(μ) + G(∫ x dμ(x)) 형태의 정규화된 확장은 강한 볼록인 이중 문제를 유도하여, 프랭크-울프 알고리즘과 같은 알고리즘의 계산 효율성을 향상시킨다.
• H의 볼록 봉우리는 최적 운반을 통해 h_closure(μ) = inf_{γ∈Π(μ)} ∫ H(x) dγ(x)로 계산할 수 있으며, 이는 두 변수 함수에 대해서는 닫힌 형태로 계산 가능하다.
• 간단한 하위모듈라 성분들의 합으로 분해 가능한 함수의 경우, 이 확장을 통한 볼록 완화는 표준 선형 프로그래밍 완화와 일치한다.
• 이산 및 연속 영역에서 하위모듈라 함수를 최소화하기 위한 실용적 알고리즘을 제안하며, 이들의 수렴 속도는 볼록 최적화 이론에서 도출된다.