[논문 리뷰] Adaptivity in Adaptive Submodularity

Hossein Esfandiari, Amin Karbasi외 1명|arXiv (Cornell University)|2019. 11. 09.

Machine Learning and Algorithms참고 문헌 40인용 수 7

한 줄 요약

이 논문은 $1 - 1/e - \varepsilon$ 근사값을 달성하는 반-적응 정책을 제안하며, 이는 이전 방법들보다 훨씬 적은 $O(\log n \times \log k)$의 적응 라운드를 사용한다. 또한 최소 비용 커버리지 문제에 대해 그레디 정책이 타당한 로그 상한 근사값을 달성함을 증명한다. 이 방법은 성능을 희생시키지 않은 채 정보 병렬성 기반으로 적응 라운드를 줄여 적응성 갭을 지수적으로 감소시킨다.

ABSTRACT

Adaptive sequential decision making is one of the central challenges in machine learning and artificial intelligence. In such problems, the goal is to design an interactive policy that plans for an action to take, from a finite set of $n$ actions, given some partial observations. It has been shown that in many applications such as active learning, robotics, sequential experimental design, and active detection, the utility function satisfies adaptive submodularity, a notion that generalizes the notion of diminishing returns to policies. In this paper, we revisit the power of adaptivity in maximizing an adaptive monotone submodular function. We propose an efficient semi adaptive policy that with $O(\log n imes\log k)$ adaptive rounds of observations can achieve an almost tight $1-1/e-ε$ approximation guarantee with respect to an optimal policy that carries out $k$ actions in a fully sequential manner. To complement our results, we also show that it is impossible to achieve a constant factor approximation with $o(\log n)$ adaptive rounds. We also extend our result to the case of adaptive stochastic minimum cost coverage where the goal is to reach a desired utility $Q$ with the cheapest policy. We first prove the conjecture of the celebrated work of Golovin and Krause by showing that the greedy policy achieves the asymptotically tight logarithmic approximation guarantee without resorting to stronger notions of adaptivity. We then propose a semi adaptive policy that provides the same guarantee in polylogarithmic adaptive rounds through a similar information-parallelism scheme. Our results shrink the adaptivity gap in adaptive submodular maximization by an exponential factor.

연구 동기 및 목표

• 반-적응 하위모듈러 최적화에서 near-최적 근사값을 달성하기 위해 필요한 적응 라운드 수를 줄이는 것.
• 반-적응 하위모듈러 최적화에서 적응성 갭을 지수적으로 줄여 적응 라운드 수를 극도로 감소시켜 보완하는 것.
• 더 강력한 적응성 가정 없이도 그레디 정책이 반-적응 스토케스틱 최소 비용 커버리지 문제에서 渐近적으로 타당한 로그 상한 근사값을 달성함을 증명하는 것.
• 정보 병렬성 프레임워크를 반-적응 하위모듈러 최적화 및 최소 비용 커버리지 문제에 모두 확장하는 것.

제안 방법

• 각 라운드에서 예상 경계 기여도를 기반으로 그레디 선택 전략을 사용하는 블록(배치) 기반으로 요소를 처리하는 반-적응 정책을 도입한다.
• 정책 조합을 관리하고 성능의 유한성을 보장하기 위해 레벨-$k$ 절단과 정책의 연결을 활용한다.
• 각 라운드에서 현재 부분 관측 결과 하에 예상 경계 기여도를 최대화하는 요소 집합을 선택하는 배치 쿼리 체계를 사용한다.
• 전체 적응성의 이점을 시뮬레이션하면서도 적응 라운드 수를 최소화하기 위해 정보 병렬성 메커니즘을 적용한다.
• 다중 라운드 동안 정책의 기대 효용과 비용을 유한하게 제한하기 위해 농도 경계와 사후 확률 업데이트를 활용한다.
• 레미마 1, 레미마 6, 및 정리 2의 조합을 통해 성능 보장을 증명하며, 평균 비용과 커버리지 확률에 대한 경계를 설정한다.

실험 결과

연구 질문

• RQ1 이전 방법들보다 훨씬 적은 적응 라운드로 반-적응 하위모듈러 최적화에서 near-최적의 $1 - 1/e - \varepsilon$ 근사값을 달성할 수 있는가?
• RQ2 반-적응 하위모듈러 최적화에서 $o(\log n)$의 적응 라운드로 일정 요소 근사값을 달성할 수 있는가?
• RQ3 더 강력한 적응성 개념을 요구하지 않고도 그레디 정책이 반-적응 스토케스틱 최소 비용 커버리지 문제에서 渐近적으로 타당한 로그 상한 근사값을 달성할 수 있는가?
• RQ4 반-적응 정책이 하위모듈러 최적화 및 최소 비용 커버리지 문제 모두에서 다항로그 수준의 적응 라운드 내에서 완전 순차 정책의 성능을 재현할 수 있는가?

주요 결과

• 제안된 반-적응 그레디 정책는 $O(\log n \times \log k)$의 적응 라운드만으로 반-적응 하위모듈러 최적화에서 $1 - 1/e - \varepsilon$ 근사값을 달성한다.
• 반-적응 정책의 평균 비용은 $\left(\frac{c_{\text{avg}}(\pi^*) + 1}{1 - \varepsilon}\right) \log\left(\frac{nQ}{\eta}\right) + 1$ 이하로 유한하게 제한되며, 이는 비용 측면에서 near-최적임을 보장한다.
• 배치 쿼리 수 $T \in O(\log n \log(Qn/\eta))$ 일 때, 정책는 $1 - 1/n$의 확률로 전체 커버리지($f(\pi^T) = Q$)를 달성한다.
• 반-적응 하위모듈러 최적화에서 일정 요소 근사값 보장을 갖는 임의의 정책는 $\Omega(\log n)$의 적응 라운드를 필요로 하며, 이는 하한을 설정한다.
• 그레디 정책는 최소 비용 커버리지 문제에서 渐近적으로 타당한 $O(\log Q)$ 근사값을 달성하며, Golovin과 Krause의 추측을 확인한다.
• 경직성 결과는 블록 크기 $r$에 대해 근사값 요소가 $O(\frac{r \log^2 r}{r}) = O(\log^2 r / r)$ 이하로 제한됨을 보여주며, 이는 소수 근사값이 적은 라운드로는 불가능함을 증명한다.