[논문 리뷰] Near Optimal Algorithms for Hard Submodular Programs with Discounted Cooperative Costs

Rishabh Iyer, Jeffrey A. Bilmes|arXiv (Cornell University)|2019. 02. 26.

Complexity and Algorithms in Graphs인용 수 3

한 줄 요약

이 논문은 비선형-모듈러 함수의 저랭크 합으로 제한된 비용 함수를 사용하여, 제약 조건이 있는 부분모듈러 최소화, 부분모듈러 커버리지, 비율 최소화와 같은 어려운 부분모듈러 최적화 문제에 대해 near-optimal 알고리즘을 제안한다. 일반적인 부분모듈러 함수에서는 Ω(√n)의 하한에 머무르는 경우에 비해, 이 접근법은 상수 요인 근사 보장을 달성하며, 협동적 이미지 매칭 및 할인 비용이 있는 센서 배치와 같은 실용적인 머신러닝 응용 분야에서 강력한 이론적 보장을 제공한다.

ABSTRACT

In this paper, we investigate a class of submodular problems which in general are very hard. These include minimizing a submodular cost function under combinatorial constraints, which include cuts, matchings, paths, etc., optimizing a submodular function under submodular cover and submodular knapsack constraints, and minimizing a ratio of submodular functions. All these problems appear in several real world problems but have hardness factors of $Ω(\sqrt{n})$ for general submodular cost functions. We show how we can achieve constant approximation factors when we restrict the cost functions to low rank sums of concave over modular functions. A wide variety of machine learning applications are very naturally modeled via this subclass of submodular functions. Our work therefore provides a tighter connection between theory and practice by enabling theoretically satisfying guarantees for a rich class of expressible, natural, and useful submodular cost models. We empirically demonstrate the utility of our models on real world problems of cooperative image matching and sensor placement with cooperative costs.

연구 동기 및 목표

• 일반적인 부분모듈러 비용 함수를 사용할 경우 발생하는 Ω(√n) 최악의 근사 요인으로 인해 제약 조건이 있는 부분모듈러 최소화 및 이중 최적화 문제의 본질적 어려움을 해결하기 위해.
• 머신러닝에서 실세계의 협동 비용을 자연스럽게 모델링할 수 있는, 저랭크 비선형-모듈러 함수의 합으로 구성된 실용적이고 표현력 있는 부분모듈러 함수의 하위 클래스를 규명하기 위해.
• 일반적인 부분모듈러 함수가 이러한 경계를 제공하지 못하는 상황에서, 이 하위 클래스에 대해 상수 요인 근사 보장을 제공함으로써 이론과 실천의 격차를 메우기 위해.
• 협동적 비용 구조를 가진 실제 문제들—예를 들어 협동적 이미지 매칭 및 협동 비용이 있는 센서 배치—에 대해 제안된 알고리즘을 경험적으로 검증하기 위해.

제안 방법

• 논문은 부분모듈러 비용 함수를 f(X) = Σᵢ₌₁ᵏ ψᵢ(wᵢ(X)) 형태로 모델링하며, 여기서 ψᵢ는 단조 증가하는 비선형 함수이고 wᵢ는 모듈러 함수이며, k는 상수이거나 O(log n)이 되도록 한다. 이는 저랭크 합을 형성한다.
• 낮은 랭크 구조를 활용하여 부분모듈러 커버리지 제약 조건 하에서 부분모듈러 비용을 최소화하기 위해 특화된 새로운 그리디 알고리즘인 PLA(Primal-Linear Approximation)를 도입한다.
• 비용 함수의 비선형 성분에 대한 선형 근사를 사용함으로써 효율적인 최적화를 가능하게 하면서도 이론적 보장을 유지한다.
• 이론적 분석을 통해 저랭크 비선형-모듈러 가정 하에, 부분모듈러 비율 최소화와 같은 문제들에서도 근사 요인이 Ω(√n)에서 상수로 향상됨을 보여준다.
• 두 가지 실제 응용—부분모듈러 매칭 비용을 사용한 협동적 이미지 매칭, 그룹 기반 할인 비용이 있는 센서 배치—을 통해 방법을 평가한다.
• SGA 및 비용 무관 그리디와 같은 기초 그릭스 알고리즘과 비교하여, 커버리지 및 비용 효율성 측면에서 뛰어난 성능을 보였다.

실험 결과

연구 질문

• RQ1 비용 함수가 저랭크 비선형-모듈러 함수의 합으로 제한될 경우, 어려운 부분모듈러 최적화 문제에 대해 상수 요인 근사 보장을 달성할 수 있는가?
• RQ2 부분모듈러 비용 함수의 저랭크 구조는 일반적인 부분모듈러 함수에 비해 이론적 근사 보장을 어떻게 향상시키는가?
• RQ3 이 프레임워크는 이미지 매칭 및 센서 배치와 같이 협동 비용이 있는 실세계의 머신러닝 문제에 효과적으로 적용될 수 있는가?
• RQ4 실제 환경에서 제안된 알고리즘(PLA, SGA)은 표준 그릭스 기초 알고리즘 대비 목표 함수 값과 비용 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 저랭크 비선형-모듈러 비용 가정 하에 제약 조건이 있는 부분모듈러 최소화, 부분모듈러 커버리지, 비율 최소화 문제에 대해 상수 요인 근사 보장을 달성하였으며, 일반적인 부분모듈러 함수의 경우 발생하는 Ω(√n)의 하한을 극복하였다.
• PLA 알고리즘은 센서 배치에서 SGA 및 비용 무관 그릭스 알고리즘을 모두 능가하여 더 높은 상호정보량 커버리지와 함께 그룹 기반 비용 할인을 효과적으로 활용하였다.
• 협동적 이미지 매칭에서 저랭크 부분모듈러 비용 모델은 표준 선형 할당에 비해 불일치하는 점 쌍의 수를 크게 감소시켜 더 높은 매칭 품질을 입증하였다.
• 센서 배치에서 비용 함수의 분할 선형 근사를 통해 PLA는 정확한 최적화를 달성하였으며, 이는 비가산적이고 구조화된 비용이 있는 환경에서의 효과성을 확인한다.
• 경험적 결과는 PLA 및 SGA가 비용 무관 그릭스 방법보다 항상 뛰어난 성능을 보였으며, 특히 협동 비용 구조가 존재할 경우 더욱 두드러졌다.
• 이론적 프레임워크는 경제의 규모에 따른 효과 및 협동 비용을 포함한 실세계의 응용과 부분모듈러 최적화 이론 간에 강력하고 실용적인 연결을 제공한다.