[논문 리뷰] Submodular Optimization with Submodular Cover and Submodular Knapsack Constraints

Rishabh Iyer, Jeff Bilmes|arXiv (Cornell University)|2013. 11. 08.

Complexity and Algorithms in Graphs참고 문헌 40인용 수 167

한 줄 요약

이 논문은 두 가지 제약 조건이 있는 부분모듈러 최적화 문제를 해결하기 위한 새로운 프레임워크를 제안한다: 부분모듈러 커버 제약 조건 하에서 부분모듈러 함수를 최소화하는 문제(이하 SCSC)와 부분모듈러 캐리어 제약 조건 하에서 부분모듈러 함수를 최대화하는 문제(이하 SCSK). 반복적이고 확장 가능한 알고리즘(예: Gr, ISSC, ISK)과 더 정밀한 근사 알고리즘(예: EASSC, EASK)을 도입하여 유한한 근사 보장을 확보하고, 센서 배치 및 데이터 서브셋 선택 응용을 포함한 실제 데이터셋에서 뛰어난 경험적 성능을 입증하였다.

ABSTRACT

We investigate two new optimization problems -- minimizing a submodular function subject to a submodular lower bound constraint (submodular cover) and maximizing a submodular function subject to a submodular upper bound constraint (submodular knapsack). We are motivated by a number of real-world applications in machine learning including sensor placement and data subset selection, which require maximizing a certain submodular function (like coverage or diversity) while simultaneously minimizing another (like cooperative cost). These problems are often posed as minimizing the difference between submodular functions [14, 35] which is in the worst case inapproximable. We show, however, that by phrasing these problems as constrained optimization, which is more natural for many applications, we achieve a number of bounded approximation guarantees. We also show that both these problems are closely related and an approximation algorithm solving one can be used to obtain an approximation guarantee for the other. We provide hardness results for both problems thus showing that our approximation factors are tight up to log-factors. Finally, we empirically demonstrate the performance and good scalability properties of our algorithms.

연구 동기 및 목표

• 커버리지 보장 또는 예산 내에서 유틸리티를 최대화하는 등의 하드 제약 조건 하에서 부분모듈러 함수 최적화 문제에 도전한다.
• 기존 접근 방식이 부분모듈러 함수의 차이(DS 최적화)로 문제를 재구성하는 데서 비롯되는, 최악의 경우 근사가 불가능한 문제의 한계를 극복한다.
• 서브모듈러 커버 및 서브모듈러 캐리어 문제에 대해 유한한 근사 보장을 제공하는 통합된 제약 기반 프레임워크를 제공한다.
• 반복적 알고리즘(예: Gr, ISSC, ISK)이 더 복잡하지만 이론적으로 더 타이트한 알고리즘(예: EASSC, EASK)에 비해 실용적 확장성과 효과성을 입증한다.
• 제안된 근사 요소가 로그 인자까지 정확하게 타이트한 것으로 밝혀지는 이론적 하드네스 결과를 수립한다.

제안 방법

• 서브모듈러 함수 f와 g가 비감소 성질을 가지는 조건 하에, 두 가지 새로운 최적화 문제를 수립한다: SCSC(제약 조건 g(X) ≥ c 하에 f(X) 최소화) 및 SCSK(제약 조건 f(X) ≤ b 하에 g(X) 최대화).
• 각각의 제약 조건 하에서 경계값이 가장 큰 요소를 단계적으로 선택하는 반복적 그레디 알고리즘(Gr, ISSC, ISK)을 도입한다.
• 유계 타당성 보장을 달성하기 위해 타원체 근사 및 서rogate 함수 기반의 더 정교한 근사 알고리즘(EASSC, EASK)을 제안한다.
• SCSC와 SCSK 간의 이중성 관계를 활용하여, 한 문제에 대한 근사 알고리즘이 다른 문제의 보장을 제공하도록 변환 가능함을 보여준다.
• 곡률 분석 및 서rogate 함수 구성 기반으로 근사 비율을 유도하며, 비감소성 및 정규화 조건 하에서 이론적 보장을 입증한다.
• 실제 사례(예: 센서 배치, 데이터 서브셋 선택)에 알고리즘을 구현하고, 무작위 선택 및 기준 기반 방법과의 성능 비교를 수행한다.

실험 결과

연구 질문

• RQ1 표준 부분모듈러 함수의 차이(DS) 공식화가 최악의 경우 근사가 불가능한 점을 감안할 때, 부분모듈러 커버 및 부분모듈러 캐리어 제약 조건 하에서 유한한 근사 보장을 달성할 수 있는가?
• RQ2 실제로 반복 그레디 알고리즘(예: Gr, ISSC, ISK)이 더 복잡한 근사 알고리즘(예: EASSC, EASK)에 비해 해의 질과 실행 시간 측면에서 어떻게 비교되는가?
• RQ3 제안된 알고리즘이 정확하거나 분기-한계 방법에 비해 대규모 인스턴스에 대해 얼마나 확장 가능한가?
• RQ4 SCSC와 SCSK 간의 이중성은 한 문제에 대해 설계된 알고리즘을 다른 문제에 적용하여 근사 보장을 유도하는 데 활용될 수 있는가?
• RQ5 센서 배치 및 자연어 처리 및 음성 인식 분야의 제한된 어휘 데이터 서브셋 선택과 같은 실제 기계학습 응용에서 제안된 알고리즘의 경험적 성능은 어떠한가?

주요 결과

• 제안된 반복적 알고리즘(Gr, ISSC, ISK)은 더 이론적으로 느슨한 보장을 가짐에도 불구하고 실질적으로 EASSC 및 EASK 알고리즘과 유사한 해의 질을 달성한다.
• |V| = 50인 실제 사례에서 반복적 알고리즘은 1초 이내에 실행되지만, 타원체 근사(EASSC)는 약 5시간이 소요되어 확장성 측면에서 뚜렷한 이점이 있음을 확인한다.
• 모든 제안된 알고리즘은 테스트된 데이터셋 전반에서 무작위 선택 기반 베이스라인에 비해 해의 질과 제약 조건 이행 측면에서 뚜렷한 성능 향상을 보였다.
• 이론적 분석을 통해 SCSC 및 SCSK 문제의 근사 요소가 표준 가정 하에 로그 인자까지 정확하게 타이트함을 입증하여, 이론적 최적성의 타당성을 확인하였다.
• 이 프레임워크는 이전 문제인 부분모듈러 스펜 및 모듈러 제약 조건이 있는 부분모듈러 캐리어 문제를 모두 포함하고 일반화하며, 더 강력한 이론적 보장을 제공한다.
• 경험적 결과는 알고리즘이 센서 배치 및 자연어 처리 및 음성 인식 분야에서 제한된 어휘 데이터 서브셋 선택과 같은 실제 응용에 효과적임을 확인한다.