[논문 리뷰] Learning with Submodular Functions: A Convex Optimization Perspective

Francis Bach|arXiv (Cornell University)|2011. 11. 28.

Complexity and Algorithms in Graphs인용 수 12

한 줄 요약

이 논문은 하위모듈라 함수에 대한 볼록 최적화 프레임워크를 제시하며, 하위모듈라성, 다면체 이론, 연속 최적화 간의 엄밀한 연결 고리를 확립한다. 하위모듈라 함수 최소화 문제가 볼록 최적화 문제의 한 클래스와 동치임을 보여주며, 기계학습 분야의 응용, 예를 들어 구조적 희소성과 실험 설계에 대해 이론적 보장을 갖는 효율적인 알고리즘을 가능하게 한다.

ABSTRACT

Submodular functions are relevant to machine learning for at least two reasons: (1) some problems may be expressed directly as the optimization of submodular functions and (2) the lovasz extension of submodular functions provides a useful set of regularization functions for supervised and unsupervised learning. In this monograph, we present the theory of submodular functions from a convex analysis perspective, presenting tight links between certain polyhedra, combinatorial optimization and convex optimization problems. In particular, we show how submodular function minimization is equivalent to solving a wide variety of convex optimization problems. This allows the derivation of new efficient algorithms for approximate and exact submodular function minimization with theoretical guarantees and good practical performance. By listing many examples of submodular functions, we review various applications to machine learning, such as clustering, experimental design, sensor placement, graphical model structure learning or subset selection, as well as a family of structured sparsity-inducing norms that can be derived and used from submodular functions.

연구 동기 및 목표

• 하위모듈라 함수에 대한 엄밀한 볼록 분석 기반을 구축하여 조합 최적화와 연속 최적화를 연결한다.
• 하위모듈라 함수 최소화 문제가 광범위한 볼록 최적화 문제의 클래스와 동치임을 보여주어 표준 볼록 최적화 도구의 사용을 가능하게 한다.
• 하위모듈라 함수 최소화를 위한 새로운 효율적인 알고리즘—정확하고 근사—을 유도하며 이론적 수렴 보장을 제공한다.
• 로바슈 확장을 감독 및 비감독 학습에서 정규화 함수로 사용할 수 있음을 보여준다.
• 하위모듈라 함수와 그 볼록 완화를 통해 구조적 희소성 유도 노름을 통합하고 일반화한다.

제안 방법

• 이산 하위모듈라 함수를 연속 볼록 프레임워크로 통합하기 위해 로바슈 확장을 사용하여 볼록 최적화 기법을 가능하게 한다.
• 타원체 방법, 조건부 기울기 방법, 프록시널 방법과 같은 고전적 볼록 최적화 알고리즘을 하위모듈라 함수 최소화에 적용하기 위해 그 볼록 확장을 활용한다.
• 기저 다면체와 하위모듈라 다면체를 사용하여 하위모듈라 최적화 문제의 타당 집합을 특성화한다.
• 집합 함수의 볼록 및 볼록 아래 함수를 사용하여 조합적 페널티의 볼록 완화를 도출한다.
• 모듈러 리프팅과 단조화 연산을 도입하여 하위모듈라성을 유지하고 기존 함수로부터 새로운 하위모듈라 함수를 구성할 수 있도록 한다.
• 활성 집합 및 커팅 평면 방법을 사용하여 분리 가능하고 이차 하위모듈라 최적화 문제를 효율적으로 해결한다.

실험 결과

연구 질문

• RQ1 하위모듈라 함수 최소화 문제를 어떻게 볼록 최적화 문제로 재정의할 수 있는가?
• RQ2 로바슈 확장은 이산 하위모듈라 함수와 연속 볼록 함수를 연결하는 데 어떤 역할을 하는가?
• RQ3 어떤 표준 볼록 최적화 알고리즘이 이론적 보장을 갖는 하위모듈라 함수 최소화 문제를 해결하기 위해 적응될 수 있는가?
• RQ4 하위모듈라 함수는 기계학습에서 어떻게 구조적 희소성 유도 노름을 정의하는 데 사용될 수 있는가?
• RQ5 하위모듈라 함수에서 유도된 조합적 페널티의 볼록 완화는 무엇이며, 해 경로에 어떻게 영향을 미치는가?

주요 결과

• 하위모듈라 함수 최소화 문제와 볼록 최적화 문제의 한 클래스가 동치이며, 잘 알려진 볼록 최적화 알고리즘의 사용이 가능하다.
• 로바슈 확장은 조합적 구조를 포괄하는 볼록 정규화 함수를 제공하여 감독 및 비감독 학습에서의 활용이 가능하다.
• 최소 노름 점 알고리즘과 해석 중심 커팅 평면 방법은 하위모듈라 함수 최소화 문제에 대해 다항식 시간 복잡도를 달성한다.
• 모듈러 리프팅과 단조화 연산은 하위모듈라성을 유지하며 기존 함수로부터 새로운 하위모듈라 함수를 구성할 수 있도록 한다.
• 하위모듈라 페널티의 볼록 완화, 예를 들어 ℓq-완화는 조합적 희소성 유도 페널티에 대한 연속적 근사이다.
• 실험 결과, 하위모듈라 최소화 및 정규화된 최소 제곱 추정에 대한 제안된 알고리즘이 이론적 수렴 보장과 함께 경쟁 가능한 성능을 달성한다.