[논문 리뷰] Efficient Minimization of Decomposable Submodular Functions

Peter Stobbe, Andreas Krause|arXiv (Cornell University)|2010. 10. 26.

Complexity and Algorithms in Graphs참고 문헌 18인용 수 91

한 줄 요약

이 논문은 분해 가능(submodular) 함수—모듈라 함수에 대한 볼록 함수의 합으로 표현 가능한 함수—를 효율적으로 최소화하기 위한 새로운 알고리즘 SLG를 소개한다. 라브라스 확장(Lovász extension)에 기반한 부드럽게 처리된 볼록 최적화를 활용함으로써, SLG는 최신의 일반 목적 서브모듈러 함수 최소화 알고리즘보다 수 개의 주기(order-of-magnitude) 빠른 성능을 달성하며, 수만 개의 변수를 포함하는 문제에까지 스케일링 가능하다. 이는 합성 벤치마크와 영상 처리에서의 동시 분류 및 분할 작업을 통해 입증되었다.

ABSTRACT

Many combinatorial problems arising in machine learning can be reduced to the problem of minimizing a submodular function. Submodular functions are a natural discrete analog of convex functions, and can be minimized in strongly polynomial time. Unfortunately, state-of-the-art algorithms for general submodular minimization are intractable for larger problems. In this paper, we introduce a novel subclass of submodular minimization problems that we call decomposable. Decomposable submodular functions are those that can be represented as sums of concave functions applied to modular functions. We develop an algorithm, SLG, that can efficiently minimize decomposable submodular functions with tens of thousands of variables. Our algorithm exploits recent results in smoothed convex minimization. We apply SLG to synthetic benchmarks and a joint classification-and-segmentation task, and show that it outperforms the state-of-the-art general purpose submodular minimization algorithms by several orders of magnitude.

연구 동기 및 목표

• 기계 학습 분야에서 대규모 문제에 대한 일반 서브모듈러 함수 최소화의 계산적 비가역성 문제를 해결하기 위해.
• 효율적인 최소화가 가능한 새로운 서브모듈러 함수의 하위 클래스—분해 가능 서브모듈러 함수—를 식별하고 활용하기 위해.
• 이러한 함수를 효율적으로 최소화하기 위해 부드럽게 처리된 볼록 최적화 기법을 활용하는 알고리즘 SLG를 개발하기 위해.
• 실제 기계 학습 작업, 특히 고차원 잠재력(high-order potentials)을 포함한 영상 분할 작업에서 SLG의 실용적 확장성과 성능을 입증하기 위해.

제안 방법

• 논문은 분해 가능 서브모듈러 함수를 모듈라 함수에 적용된 볼록 함수의 합으로 정의한다.
• 이를 위해 라브라스 확장을 사용하여 이산 서브모듈러 함수의 볼록 연속적 근사화를 수립한다.
• SLG는 라브라스 확장에 대해 부드럽게 처리된 볼록 최소화 기법을 적용하여 기울기 기반 최적화 방법을 통해 효율적인 최적화를 가능하게 한다.
• 집합의 차집합과 함수 값에 관여하는 순열 기반 공식을 사용하여 라브라스 확장의 하위기울기(subgradients)를 계산한다.
• 직접 도함수 계산을 피하기 위해 가우시안 커널에 대해 통합하는 스무딩 기법을 사용하여 효율적인 하위기울기 평가를 가능하게 한다.
• 이 방법은 MATLAB/Mex로 구현되었으며, 합성 및 실제 영상 분할 작업(고차원 잠재력 포함)에 적용되었다.

실험 결과

연구 질문

• RQ1 이차 상호작용을 초월하여 효율적인 최소화가 가능한 새로운 서브모듈러 함수의 하위 클래스를 식별할 수 있는가?
• RQ2 라브라스 확장에 대해 부드럽게 처리된 볼록 최적화 기법을 효과적으로 적용하여 대규모 서브모듈러 최소화 문제를 해결할 수 있는가?
• RQ3 SLG의 성능은 대규모 문제에서 최신 기술의 일반 목적 서브모듈러 최소화 알고리즘과 비교해 어떻게 되는가?
• RQ4 SLG는 수만 개의 변수를 포함하는 문제에 대해 정확하거나 근사 정확한 해를 유지하면서 확장 가능한가?

주요 결과

• 10,000개의 변수와 90개의 볼록 잠재력이 있는 문제에서 SLG는 71.4초의 런타임을 기록했고, MinNorm 알고리즘은 6,900초가 소요되어 시간이 95% 감소한 것으로 나타났다.
• 40,000개의 변수를 포함하는 더 큰 영상에서는 SLG가 약 1,600초 내로 완료되어 조합적 알고리즘의 범위를 초월하는 확장성을 입증했다.
• 합성 벤치마크에서 SLG는 더 빠른 머신과 단순한 구현에도 불구하고 MinNorm 알고리즘보다 최대 6배 빠른 성능을 보였다.
• 이미지 영역에서 유도된 고차원, 볼록 잠재력을 통합함으로써 경계 영역의 분할 정확도가 향상된 것으로 확인되었다.
• 일般 목적 서브모듈러 최소화가 비가능한 문제에서 정확한 최적성 보장을 유지하면서도 실용적인 런타임 성능을 달성했다.
• 결과적으로 SLG는 기존 방법이 계산 복잡성으로 인해 실패하는 연속 분류 및 분할 작업과 같은 대규모 기계 학습 작업에 실용적으로 적용 가능하다는 것이 입증되었다.