[논문 리뷰] Non-monotone Submodular Maximization with Nearly Optimal Adaptivity Complexity.

Matthew Fahrbach, Vahab Mirrokni외 1명|arXiv (Cornell University)|2018. 08. 19.

Complexity and Algorithms in Graphs참고 문헌 44인용 수 8

한 줄 요약

이 논문은 카디널리티 제약 조건 하에서 비모노톤 서브모듈러 최적화에 대해 처음으로 상수 요인 근사 알고리즘을 제안하며, 적대성 복잡도가 $O(\log n)$에 가까운 거의 최적의 수준을 유지하면서도, 요소당 기대 함수 평가 횟수를 $O(\log k)$로 줄여 분산 및 대규모 환경에서의 효율성을 크게 향상시킨다.

ABSTRACT

As a generalization of many classic problems in combinatorial optimization, submodular optimization has found a wide range of applications in machine learning (e.g., in feature engineering and active learning). For many large-scale optimization problems, we are often concerned with the adaptivity complexity of an algorithm, which quantifies the number of sequential rounds where polynomially-many independent function evaluations can be executed in parallel. While low adaptivity is ideal, it is not sufficient for a distributed algorithm to be efficient, since in many practical applications of submodular optimization the number of function evaluations becomes prohibitively expensive. Motivated by such applications, we study the adaptivity and query complexity of non-monotone submodular optimization. We provide the first constant approximation algorithm for maximizing a non-monotone submodular function with cardinality constraint $k$ that has nearly-optimal adaptivity complexity $O(\log(n))$. Furthermore, our algorithm makes only $O(\log(k))$ calls per element to the function evaluation oracle in expectation.

연구 동기 및 목표

• 분산 서브모듈러 최적화에서 높은 쿼리 복잡도 문제를 해결하기 위해, 특히 비모노톤 함수의 경우에 대해.
• 서브모듈러 최적화를 위한 병렬 계산에서 순차적 라운드 수(적응성 복잡도)를 줄이기 위해.
• 상수 요인 근사 보장을 유지하면서도 요소당 함수 평가 횟수를 최소화하기 위해.
• 카디널리티 제약 조건 하에서 비모노톤 서브모듈러 함수에 대해 거의 최적의 적응성 복잡도 $O(\log n)$를 달성하기 위해.

제안 방법

• 각 라운드에서 탐색과 이용의 균형을 유지하면서 서브모듈러 함수 값의 증가를 유도하기 위해 새로운 적응형 샘플링 전략을 사용한다.
• 예상 경계 기여도에 기반해 동적으로 조정되는 임계값 메커니즘을 도입하여 중복 평가를 줄인다.
• 재귀적 샘플링과 정렬을 통해 각 요소가 기대적으로 $O(\log k)$번만 평가되도록 보장한다.
• 집중 불등식을 활용해 경계 기여도 추정의 오차를 제한함으로써 근사 비율에 대한 이론적 보장을 확보한다.
• 알고리즘은 라운드로 구성되며, 각 라운드에서 다항식 수준의 독립적인 함수 평가를 동시에 수행하여 적응성 최소화를 도모한다.
• 주요 구성 요소로는 서브모듈러 구조를 유지하면서 후보 집합을 선택하기 위한 랜덤화 라운딩 기법을 활용한다.

실험 결과

연구 질문

• RQ1 이론적 하한선에 가까운 적응성 복잡도를 갖는 비모노톤 서브모듈러 최적화에 대해 상수 요인 근사를 달성할 수 있는가?
• RQ2 낮은 적응성 환경에서 높은 근사 품질을 유지하기 위해 요소당 최소한 몇 번의 함수 평가가 필요한가?
• RQ3 대규모 서브모듈러 문제를 위한 병렬성과 쿼리 효율성을 균형 잡는 분산 알고리즘을 어떻게 설계할 수 있는가?
• RQ4 적응성 복잡도를 $O(\log n)$로 유지하면서도 요소당 기대 함수 평가 횟수를 $O(\log k)$로 줄일 수 있는가?

주요 결과

• 제안된 알고리즘은 카디널리티 제약 조건 하에서 비모노톤 서브모듈러 최적화에 대해 상수 요인 근사를 달성한다.
• 적응성 복잡도는 $O(\log n)$이며, 이는 거의 최적이며 이론적 하한선에 상수 인자 수준에서 근접한다.
• 요소당 기대 함수 평가 횟수는 $O\left(\log k\right)$이며, 이는 총 쿼리 비용을 크게 줄인다.
• 순차적 라운드 수를 최소화하면서도 독립 요소의 병렬 평가를 가능하게 하여 분산 환경에서도 높은 성능을 유지한다.