[논문 리뷰] Provable Submodular Minimization using Wolfe's Algorithm

Deeparnab Chakrabarty, Prateek Jain외 1명|arXiv (Cornell University)|2014. 11. 01.

Complexity and Algorithms in Graphs참고 문헌 20인용 수 32

한 줄 요약

이 논문은 하위모듈러 함수 최소화(SFM)를 위한 Wolfe 알고리즘에 대한 첫 번째 증명 가능한 수렴 분석을 제공하며, $t$ 반복 이내에 $O(1/t)$-근사해를 달성함을 보여준다. 또한 Fujishige의 정리의 강건한 버전을 증명하여, 기본 다면체 위의 $O(1/n^2)$-근사 최소노름 점이 정확한 SFM를 유도함을 입증함으로써, Fujishige-Wolfe 알고리즘에 대해 처음으로 의사다항식 시간 보장을 확보하였으며, 런타임 상한이 $O((n^5\mathrm{EO}+n^7)F^2)$임을 도출한다.

ABSTRACT

Owing to several applications in large scale learning and vision problems, fast submodular function minimization (SFM) has become a critical problem. Theoretically, unconstrained SFM can be performed in polynomial time [IFF 2001, IO 2009]. However, these algorithms are typically not practical. In 1976, Wolfe proposed an algorithm to find the minimum Euclidean norm point in a polytope, and in 1980, Fujishige showed how Wolfe's algorithm can be used for SFM. For general submodular functions, this Fujishige-Wolfe minimum norm algorithm seems to have the best empirical performance. Despite its good practical performance, very little is known about Wolfe's minimum norm algorithm theoretically. To our knowledge, the only result is an exponential time analysis due to Wolfe himself. In this paper we give a maiden convergence analysis of Wolfe's algorithm. We prove that in $t$ iterations, Wolfe's algorithm returns an $O(1/t)$-approximate solution to the min-norm point on {\em any} polytope. We also prove a robust version of Fujishige's theorem which shows that an $O(1/n^2)$-approximate solution to the min-norm point on the base polytope implies {\em exact} submodular minimization. As a corollary, we get the first pseudo-polynomial time guarantee for the Fujishige-Wolfe minimum norm algorithm for unconstrained submodular function minimization.

연구 동기 및 목표

• Wolfe 알고리즘의 수렴 행동에 대한 이론적 갭을 메우며, 이는 실무적으로 효과적이지만 이론적 보장이 부족하다.
• 다면체 위의 최소노름 점을 최소화하는 Wolfe 알고리즘에 대해 증명 가능한 수렴 속도를 제공한다. 이는 하위모듈러 함수 최소화의 핵심 서브루틴이다.
• 근사 최소노름 점과 근사 하위모듈러 최소화 사이의 관계를 연결하는 Fujishige의 정리의 강건한 버전을 확립하여, 해 과정에서 오차 한계를 도출한다.
• 비제약 하위모듈러 함수 최소화를 위한 Fujishige-Wolfe 알고리즘에 대해 첫 번째 의사다항식 시간 복잡도 상한을 유도한다.
• 함수 매개변수인 $F$에 의존하는 공식적인 런타임 보장을 제공함으로써, Fujishige-Wolfe 알고리즘의 실무 성공을 이론적 분석과 조율한다.

제안 방법

• 다면체 내 최소노름 점을 찾기 위한 Wolfe 알고리즘을 분석하여, $t$ 반복 이내에 최소노름 점에 대한 $O(1/t)$-근사해를 달성함을 증명한다.
• 최적 해로부터의 제곱 거리를 추적하는 잠재 함수를 사용한 새로운 오차 분석을 도입하여, 반복마다 오차가 제곱적으로 감소함을 보여준다.
• Fujishige의 정리의 강건한 버전을 확립: 모든 $z$에 대해 $\|x\|_2^2 \leq z^T x + \varepsilon^2$를 만족하는 점 $x$가 존재하면, $f(S_x) \leq \min_S f(S) + 2n\varepsilon$가 성립하며, $S_x$는 다항식 시간 내에 구성 가능하다.
• 기본 다면체 위에서 선형 함수를 최소화하기 위해 그린리 알고리즘을 사용하여, 실무에서 Wolfe 알고리즘의 효율적 구현을 가능하게 한다.
• Wolfe 알고리즘의 수렴 속도와 강건한 Fujishige 정리를 조합하여 SFM에 대한 의사다항식 시간 상한을 도출한다.
• 함수 값의 최대 경계 변화를 반영하는 핵심 매개변수로 $F = \max_i \left( |f(\{i\})|, |f([n]) - f([n]\setminus i)| \right) $를 정의한다.

실험 결과

연구 질문

• RQ1 다면체 내 최소노름 점을 찾기 위한 Wolfe 알고리즘의 수렴 속도는 무엇인가?
• RQ2 기본 다면체 위의 최소노름 점 문제에 대한 근사해를 사용하여 하위모듈러 최소화 문제에 대해 증명 가능한 좋은 해를 도출할 수 있는가?
• RQ3 비제약 하위모듈러 함수 최소화를 위한 Fujishige-Wolfe 알고리즘에 대해 첫 번째 증명 가능한 의사다항식 시간 복잡도 상한은 무엇인가?
• RQ4 Fujishige-Wolfe 알고리즘의 실무 성능은 Iwata-Orlin과 같은 증명 가능한 다항식 시간 알고리즘과 비교해 볼 때, $F$에 대한 의존성 측면에서 어떻게 다를까?
• RQ5 근사 최소노름 점과 근사 하위모듈러 최소화 사이의 관계를 정량화된 오차 한계와 함께 연결하는 Fujishige의 정리의 강건한 버전을 증명할 수 있는가?

주요 결과

• Wolfe 알고리즘은 임의의 다면체 내 최소노름 점에 대해 $t$ 반복 이내에 $O(1/t)$-근사해로 수렴하며, $\varepsilon$-정확도를 확보하기 위해 $O(nQ^2 / \varepsilon)$번의 반복이 필요하다. 여기서 $Q$는 다면체 내 임의의 점의 최대 $\ell_2$-노름이다.
• Fujishige의 정리의 강건한 버전을 증명: 모든 $z \in \mathcal{B}_f$에 대해 $\|x\|_2^2 \leq z^T x + \varepsilon^2$를 만족하는 점 $x$가 존재하면, $f(S_x) \leq \min_S f(S) + 2n\varepsilon$가 성립하며, $S_x$는 다항식 시간 내에 구성 가능하다.
• 비제약 하위모듈러 함수 최소화를 위한 Fujishige-Wolfe 알고리즘은 $O((n^5\mathrm{EO} + n^7)F^2)$ 시간 내에 실행되며, $F$는 함수의 최대 절대 경계 변화를 나타낸다.
• 실증 결과에 따르면, Fujishige-Wolfe 알고리즘의 반복 수는 $F$가 지수적으로 증가함에도 불구하고 일정하게 유지되며, 실무에서는 $F$에 대해 약한 의존성을 보임을 시사한다.
• Iwata-Orlin 알고리즘보다 이론적으로 $n$과 $F$에 대해 더 나쁜 의존성을 보일지라도, 표준 벤치마크(예: s-t 최소 컷, Iwata의 3그룹 함수)에서 Fujishige-Wolfe 알고리즘이 실무적으로 더 뛰어난 성능을 보였다.
• 분석을 통해 Fujishige-Wolfe 알고리즘에 대해 처음으로 의사다항식 시간 보장을 확립하여, 그 실무 성공을 이해하는 데 오랫동안 존재하던 이론적 갭을 해소하였다.