[논문 리뷰] "Bring Your Own Greedy"+Max: Near-Optimal 1/2-Approximations for Submodular Knapsack.

Dmitrii Avdiukhin, Grigory Yaroslavtsev외 1명|arXiv (Cornell University)|2019. 01. 01.

Complexity and Algorithms in Graphs인용 수 2

한 줄 요약

이 논문은 부분 해에 포함되지 않은 가장 좋은 항목을 추가함으로써 서브모듈라 캐리어 문제에 대한 그레디 알고리즘의 성능을 향상시키는 새로운 알고리즘 프레임워크인 'Bring Your Own Greedy'+Max를 소개한다. 이 프레임워크는 최소한의 계산 오버헤드로 오프라인, 스트리밍, 분산 환경에서 near-optimal (1/2−ϵ)-근사값을 달성하며, 실제 데이터셋에서 이론적 최악의 경우 성능보다 뛰어나게 작동한다.

ABSTRACT

The problem of selecting a small-size representative summary of a large dataset is a cornerstone of machine learning, optimization and data science. Motivated by applications to recommendation systems and other scenarios with query-limited access to vast amounts of data, we propose a new rigorous algorithmic framework for a standard formulation of this problem as a submodular maximization subject to a linear (knapsack) constraint. Our framework is based on augmenting all partial Greedy solutions with the best additional item. It can be instantiated with negligible overhead in any model of computation, which allows the classic \greedy algorithm and its variants to be implemented. We give such instantiations in the offline (Greedy+Max), multi-pass streaming (Sieve+Max) and distributed (Distributed+Max) settings. Our algorithms give ($1/2-\epsilon$)-approximation with most other key parameters of interest being near-optimal. Our analysis is based on a new set of first-order linear differential inequalities and their robust approximate versions. Experiments on typical datasets (movie recommendations, influence maximization) confirm scalability and high quality of solutions obtained via our framework. Instance-specific approximations are typically in the 0.6-0.7 range and frequently beat even the $(1-1/e) \approx 0.63$ worst-case barrier for polynomial-time algorithms.

연구 동기 및 목표

• 큰 데이터셋에서 캐리어 제약 조건 하에 고품질이면서 소형의 요약을 선택하는 데 도전하는 것.
• 선형 제약 조건이 있는 서브모듈라 최대화 문제에서 그레디 알고리즘의 이론적 및 실용적 성능을 향상시키는 것.
• 다양한 계산 모델 전반에서 기존 그레디 알고리즘을 최소한의 계산 비용으로 향상시킬 수 있는 일반화 가능한 프레임워크를 개발하는 것.
• 스케일러비리티와 실세계 데이터에서의 해 품질을 유지하면서 near-optimal 근사 비율을 달성하는 것.
• 실제로 1/2 근사값의 전통적 장벽을 뛰어넘는 것, 종종 0.6–0.7의 인스턴스별 근사 비율을 달성하는 것.

제안 방법

• 기존에 포함되지 않은 항목 중 가장 유용한 하나를 부분 그레디 해에 추가하기 위해 후처리 단계를 사용하여 모든 부분 그레디 해를 보완한다.
• 오프라인(그레디+맥스), 다중 패assing 스트리밍(시브+맥스), 분산(분산+맥스)의 세 가지 계산 모델에 이 프레임워크를 적용한다.
• 알고리즘 성능을 분석하기 위해 새로운 일阶 선형 미분부등식과 그 강건한 근사 버전을 사용한다.
• 이미 존재하는 그레디 알고리즘의 실현 구현을 재사용하고 최소한의 수정만으로 계산 오버헤드를 극도로 낮춘다.
• 서브모듈라 함수의 구조와 캐리어 제약 조건을 활용하여 근사 비율을 엄밀하게 유계화한다.
• 모듈러리하고 확장 가능한 방식으로 프레임워크를 설계하여, 어떤 그레디 기반 서브루틴과도 통합할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 기존에 포함되지 않은 가장 좋은 항목을 그레디 해에 단순히 추가하는 것으로 서브모듈라 캐리어 문제에서 근사 비율을 크게 향상시킬 수 있는가?
• RQ2 최소한의 오버헤드로 다양한 계산 모델에서 (1/2−ϵ)-근사 보장을 달성할 수 있는 정도는 어느 정도인가?
• RQ3 이론적 최악의 경우 성능 한계를 향상시키지 않더라도, 이 프레임워크는 실무에서 1/2 근사값의 장벽을 뛰어넘을 수 있는가?
• RQ4 새로운 미분부등식 기법은 그레디 기반 알고리즘의 분석을 어떻게 더 엄밀하고 강건하게 만들 수 있는가?
• RQ5 기존 방법과 비교해 실제 데이터셋에서 이 프레임워크의 경험적 성능은 어떠한가?

주요 결과

• 제안된 프레임워크는 오프라인, 스트리밍, 분산 환경에서 최소한의 계산 오버헤드로 (1/2−ϵ)-근사값을 달성한다.
• 영화 추천 및 影响 최대화 데이터셋에 대한 실험 결과, 인스턴스별 근사 비율이 0.6–0.7 범위에 머물며, 종종 (1−1/e)≈0.63의 최악의 경우 장벽을 초월한다.
• 알고리즘 재설계 없이도 표준 그레디 알고리즘의 성능을 향상시켜, 기존 시스템에 즉각 도입할 수 있다.
• 일阶 선형 미분부등식과 그 강건한 근사치를 사용함으로써 더 엄밀하고 일반적인 성능 분석이 가능해진다.
• 스트리밍 및 분산 환경을 포함한 모든 테스트된 계산 모델에서 높은 확장성과 해 품질을 유지한다.
• 간단한 후처리 단계에서 가장 좋은 항목을 선택함으로써 이론적 최악의 경우 성능 한계를 뛰어넘는 실질적인 성과를 얻을 수 있음을 보여준다.