[논문 리뷰] Scenario Submodular Cover

Nathaniel Grammel, Lisa Hellerstein외 2명|arXiv (Cornell University)|2016. 03. 10.

Complexity and Algorithms in Graphs참고 문헌 14인용 수 5

한 줄 요약

이 논문은 비독립적 분포 버전의 확률적 하위모듈러 최적화인 시나리오 하위모듈러 커버 문제를 제안하고, 두 가지 근사 알고리즘을 제시한다: 하나는 표본을 기반으로 혼합 그레디언트를 사용하여 $O(\log Qm)$의 bound를 확보하고, 다른 하나는 가중치가 부여된 실현값을 사용한 OR 구성 방식으로 $O(\log QW)$의 bound를 확보한다. 주요 기여는 명시적으로 주어진 연합 분포 하에서 근사 보장을 제공함으로써 이전의 독립적 분포에 대한 연구를 확장한 것이다.

ABSTRACT

Many problems in Machine Learning can be modeled as submodular optimization problems. Recent work has focused on stochastic or adaptive versions of these problems. We consider the Scenario Submodular Cover problem, which is a counterpart to the Stochastic Submodular Cover problem studied by Golovin and Krause. In Scenario Submodular Cover, the goal is to produce a cover with minimum expected cost, where the expectation is with respect to an empirical joint distribution, given as input by a weighted sample of realizations. In contrast, in Stochastic Submodular Cover, the variables of the input distribution are assumed to be independent, and the distribution of each variable is given as input. Building on algorithms developed by Cicalese et al. and Golovin and Krause for related problems, we give two approximation algorithms for Scenario Submodular Cover over discrete distributions. The first achieves an approximation factor of O(log Qm), where m is the size of the sample and Q is the goal utility. The second, simpler algorithm achieves an approximation bound of O(log QW), where Q is the goal utility and W is the sum of the integer weights. (Both bounds assume an integer-valued utility function.) Our results yield approximation bounds for other problems involving non-independent distributions that are explicitly specified by their support.

연구 동기 및 목표

• 기존의 확률적 모델에서 독립성 가정을 제거하고, 명시적으로 지정된 연합 확률 분포 하에서 하위모듈러 최적화를 다루는 것.
• 입력으로 독립적인 변수 분포가 아닌 가중치가 부여된 실현값의 표본이 주어지는 시나리오 하위모듈러 커버 문제를 위한 근사 알고리즘을 개발하는 것.
• 기존의 적응형 그레디언트 및 이중 그레디언트 프레임워크를 새로운 유틸리티 함수 구성 방식을 통해 의존적인 분포를 다룰 수 있도록 확장하는 것.
• empirical이고 비독립적인 분포를 가진 설정에서 적응형 하위모듈러 커버에 대한 이론적 근사 보장을 제공하는 것.

제안 방법

• 실현값의 표본 지원 $S$ 위에서 혼합 그레디언트 전략을 적용하여 수정된 유틸리티 함수 $g_S$를 구성함으로써, 하위모듈러성과 단조성을 보장하는 것.
• 기존 유틸리티 $g$와 가중치 기반 제거 함수 $h_W$를 결합하여 OR 구성 방식을 사용해 $g_W$를 형성함. 이는 제거된 실현값의 누적 가중치를 추적한다.
• 목표 $QW$를 기반으로 $g_W$에 대해 적응형 그레디언트 알고리즘을 적용하며, Golovin과 Krause의 결과를 활용해 적응형 하위모듈러 함수에 대해 알려진 bound를 활용한다.
• 표본 분포에 대해 $g_W$가 적응형 하위모듈러임을 보여줌으로써, 결과적으로 알고리즘이 $O(\log QW)$ 근사 요소를 유지함을 증명한다.
• 구성된 유틸리티 함수 $g_S$의 하위모듈러 비율 $\rho_S$에 대해 하한 $\rho_S \geq \frac{1}{2}$를 확립함으로써, 혼합 그레디언트를 통한 $O(\log Qm)$ 근사 보장을 가능하게 한다.
• 이중적 추론을 통해 표본 외의 추가 항목 선택이 기대 비용에 영향을 주지 않음을 보이며, 이는 해당 항목들이 확률이 0이기 때문이다.

실험 결과

연구 질문

• RQ1 명시적으로 주어진 비독립적 연합 분포 하에서 하위모듈러 커버에 대해 근사 보장을 달성할 수 있는가?
• RQ2 변수 간의 의존성이 도입되었을 때, 독립적 경우와 비교해 그레디언트 알고리즘의 성능은 어떻게 저하되는가?
• RQ3 가중치가 부여된 표본 분포를 인코딩하면서도 하위모듈러성과 단조성을 유지하는 유틸리티 함수를 구성할 수 있는가?
• RQ4 실현값의 표본 지원 위에서 혼합 그레디언트 접근법을 사용할 경우 도달할 수 있는 근사 요소는 무엇인가?
• RQ5 OR 구성 방식을 가중치가 부여되고 의존적인 실현값을 다룰 수 있도록 수정하여 보장 가능한 근사 보장을 도출할 수 있는가?

주요 결과

• 첫 번째 알고리즘은 $O(\log Qm)$ 근사 요소를 확보하며, 여기서 $m$은 가중치가 부여된 표본 내 실현값의 수이고 $Q$는 목표 유틸리티이다.
• 두 번째 알고리즘은 $O(\log QW)$ 근사 요소를 확보하며, 여기서 $W$는 표본 내 실현값의 가중치 합이다.
• 구성된 유틸리티 함수 $g_S$의 하위모듈러 비율 $\rho_S$는 하한 $\frac{1}{2}$를 가지며, 이는 혼합 그레디언트를 통한 $O(\log Qm)$ 근사 보장을 가능하게 한다.
• OR 구성 방식을 통해 구성된 유틸리티 함수 $g_W$는 표본 분포에 대해 적응형 하위모듈러이며, 이는 적응형 그레디언트의 적용 가능성을 보장한다.
• 조인트 분포가 비독립적이고 가중치가 부여된 표본으로 명시적으로 주어져도, 해의 기대 비용은 최적해에 대해 로그 인자 범위 내에 유지된다.
• 알고리즘은 정수 값의 단조적 하위모듈러 유틸리티 함수에 대해 유효하며, 지원이 주어진 비독립적 분포를 포함하는 문제로 일반화 가능하다.