[논문 리뷰] Non-monotone Submodular Maximization with Nearly Optimal Adaptivity and Query Complexity

Matthew Fahrbach, Vahab Mirrokni외 1명|arXiv (Cornell University)|2018. 08. 19.

Complexity and Algorithms in Graphs인용 수 17

한 줄 요약

이 논문은 거의 최적의 적응성과 쿼리 복잡도를 갖는 기수 제약 조건 하에서 비단조화 서브모듈러 최대화 문제에 대해 처음으로 상수 요인 근사 알고리즘을 제안한다. 이 알고리즘은 $O(\log n / \varepsilon)$ 적응 라운드 내에서 기대값 $(0.039 - \varepsilon)$-근사값을 달성하며, $O(n \log k / \varepsilon^2)$ 기대 쿼리 수를 사용한다. 이는 수정된 임계값 샘플링과 비제약 최대화 기법을 조합하여 대규모 머신러닝 응용 프로그램에서의 효율성을 향상시킨다.

ABSTRACT

Submodular maximization is a general optimization problem with a wide range of applications in machine learning (e.g., active learning, clustering, and feature selection). In large-scale optimization, the parallel running time of an algorithm is governed by its adaptivity, which measures the number of sequential rounds needed if the algorithm can execute polynomially-many independent oracle queries in parallel. While low adaptivity is ideal, it is not sufficient for an algorithm to be efficient in practice -- there are many applications of distributed submodular optimization where the number of function evaluations becomes prohibitively expensive. Motivated by these applications, we study the adaptivity and query complexity of submodular maximization. In this paper, we give the first constant-factor approximation algorithm for maximizing a non-monotone submodular function subject to a cardinality constraint $k$ that runs in $O(\log(n))$ adaptive rounds and makes $O(n \log(k))$ oracle queries in expectation. In our empirical study, we use three real-world applications to compare our algorithm with several benchmarks for non-monotone submodular maximization. The results demonstrate that our algorithm finds competitive solutions using significantly fewer rounds and queries.

연구 동기 및 목표

• 적응 라운드와 총 오ракル 쿼리 수를 최소화하는 비단조화 서브모듈러 최대화를 위한 분산 알고리즘을 개발하기 위해.
• 이전 연구에 비해 적응성과 쿼리 복잡도를 크게 줄이며 상수 요인 근사 보장을 달성하기 위해.
• 오라클 평가가 비용이 많이 들고 커뮤니케이션 라운드 수에 의해 병렬 처리가 제한되는 대규모 머신러닝 환경에서의 실용적 제약을 해결하기 위해.
• 낮은 적응성과 낮은 쿼리 수를 균형 잡는 방법을 설계하여 실세계 응용 프로그램에 적합하게 만들기 위해.

제안 방법

• 후보 풀이 임계값 이하로 줄어들면 조기에 종료되는 Fahrbach 등 (2019)의 수정된 임계값 샘플링 서브루틴을 적응적으로 조합한다.
• 비단조화성과 근사 품질 향상을 위해 Chen 등 (2019)의 비제약 서브모듈러 최대화 알고리즘을 통합한다.
• 이중 단계 전략을 사용한다: 첫 번째 단계에서는 $O(\log n / \varepsilon)$ 라운드 내에 고가치 요소를 임계값 샘플링을 통해 식별하고, 두 번째 단계에서는 선택된 부분집합에 대해 비제약 최대화를 적용한다.
• 각 요소가 적어도 일정 확률 이상으로 선택되지 않도록 보장하는 동적 정지 조건을 임계값 샘플링에 도입하여 상수 요인 근사 보장을 달성한다.
• 샘플링의 조기 종료가 근사 품질을 훼손하지 않으면서도 라운드 수와 쿼리 수를 모두 감소시킨다는 사실을 활용한다.
• 무작위 샘플링과 적응적 쿼리 스케줄링을 활용하여 순차적 의존성을 최소화하면서도 높은 해 품질을 유지한다.

실험 결과

연구 질문

• RQ1 기껏해야 최적의 적응성 복잡도를 갖는 비단조화 서브모듈러 최대화 문제에 대해 상수 요인 근사 알고리즘을 설계할 수 있는가?
• RQ2 낮은 적응성 조건 하에서 상수 요인 근사를 달성하기 위해 필요한 최소 오라클 쿼리 수는 얼마인가?
• RQ3 임계값 샘플링을 어떻게 수정하여 비단조화 함수를 지원하면서도 근사 보장을 유지할 수 있는가?
• RQ4 임계값 샘플링과 비제약 최대화의 조합이 낮은 라운드 수와 쿼리 수를 갖는 실용적인 알고리즘을 제공할 수 있는가?
• RQ5 비용이 많이 드는 오라클 쿼리가 존재하는 실세계 응용 프로그램에서 이 알고리즘이 기존 벤치마크를 얼마나 뛰어넘는가?

주요 결과

• 제안된 알고리즘은 기수 제약 조건 하에서 비단조화 서브모듈러 최대화 문제에 대해 기대값 $(0.039 - \varepsilon)$-근사값을 달성한다.
• 이 알고리즘은 $O(\log n / \varepsilon)$ 적응 라운드 내에서 실행되며, 알려진 하한선에 비해 $\Theta(\log \log n)$ 요소 이내로 최적이다.
• 기대 오라클 쿼리 수는 $O(n \log k / \varepsilon^2)$이며, 거의 최적이고 이전 방법보다 상당히 낮다.
• 이미지 요약 작업에서 Adaptive-Nonmonotone-Max는 Random 및 Fantom보다 쿼리 효율성 면에서 뛰어나며, 쿼리 비용이 명확하게 감소한다.
• 영화 추천 및 수익 최적화 작업에서는 라운드 수와 쿼리 수를 크게 줄이며 벤치마크와 경쟁 가능한 해를 찾는다.
• 알고리즘의 조기 종료 메커니즘은 후보 풀을 빨리 $3k$ 이하로 줄여, 이후 단일 라운드 내에 효율적인 최종 선택을 가능하게 한다.