[논문 리뷰] Beyond $1/2$-Approximation for Submodular Maximization on Massive Data Streams

Ashkan Norouzi-Fard, Jakub Tarnawski외 4명|arXiv (Cornell University)|2018. 08. 06.

Complexity and Algorithms in Graphs인용 수 38

한 줄 요약

이 논문은 랜덤 오더 데이터 도착을 가정할 때, 기존의 1/2-근사 이상을 달성하는 최초의 저메모리, 단일 패assing 스트리밍 알고리즘인 Salsa를 소개한다. 무작위 순서와 적응형 임계값 설정을 활용하여, 이전 방법들이 겪었던 0.5-근사 장벽을 넘어, 유리한 조건 하에서 기대값으로 (1−1/e)-근사를 달성한다. 클러스터링, 소셜 네트워크 분석, 추천 시스템에서의 실험적 검증을 통해 검증되었다.

ABSTRACT

Many tasks in machine learning and data mining, such as data diversification, non-parametric learning, kernel machines, clustering etc., require extracting a small but representative summary from a massive dataset. Often, such problems can be posed as maximizing a submodular set function subject to a cardinality constraint. We consider this question in the streaming setting, where elements arrive over time at a fast pace and thus we need to design an efficient, low-memory algorithm. One such method, proposed by Badanidiyuru et al. (2014), always finds a $0.5$-approximate solution. Can this approximation factor be improved? We answer this question affirmatively by designing a new algorithm SALSA for streaming submodular maximization. It is the first low-memory, single-pass algorithm that improves the factor $0.5$, under the natural assumption that elements arrive in a random order. We also show that this assumption is necessary, i.e., that there is no such algorithm with better than $0.5$-approximation when elements arrive in arbitrary order. Our experiments demonstrate that SALSA significantly outperforms the state of the art in applications related to exemplar-based clustering, social graph analysis, and recommender systems.

연구 동기 및 목표

• 기존 스트리밍 알고리즘이 카디널리티 제약 조건 하에서 0.5-근사에 머무르는 한계를 해결한다.
• 공격자 순서 환경에서 알려진 0.5 장벽을 뛰어넘을 수 있는가를 조사한다. 랜덤 오더 데이터 도착을 가정할 때.
• 다중 패assing이나 대량 메모리가 필요 없이 향상된 근사 보장을 달성하는 저메모리, 단일 패assing 알고리즘을 설계한다.
• 임의의 순서 스트림에서 어떤 알고리즘도 0.5-근사를 초과할 수 없음을 증명하여, 랜덤 오더 가정의 필요성을 입증한다.
• 최적값에 대한 사전 지식이 없는 실용적인 알고리즘을 설계하며, 최적값의 기하급수적 추정치에 기반한 추측 메커니즘을 사용하여 로그 수준의 오버헤드를 유지한다.

제안 방법

• 예상 최적값과 랜덤 오더 도착을 기반으로 한 적응형 임계값 설정을 사용하는 스트리밍 알고리즘인 Salsa를 제안한다. 이를 통해 0.5 이상의 근사를 달성한다.
• 후행적으로 도착하는 요소가 더 높은 기여도를 가지기 때문에, 마진 기여의 재귀적 경계를 사용하는 새로운 분석 프레임워크를 도입한다.
• 요소가 각 요소의 예상 최적값의 동적으로 조정된 비율을 초과하는 마진 기여를 가질 경우에만 추가하는 임계값 전략을 적용한다.
• 최적값의 기하급수적 간격 추정치에 대한 추측 메커니즘을 사용하여 알려지지 않은 OPT를 처리하며, 병렬 알고리즘 인스턴스를 로그 수준으로 유지한다.
• 후보 최적값의 범위를 제한하기 위해 최대 단일 요소 값의 실시간 추정치를 유지하여 메모리 효율성을 확보한다.
• 랜덤 오더 하에서 Salsa가 기대값으로 (1−1/e)-근사를 달성함을 증명하며, 근사 오차에 대해 로그 수준으로 증가하는 런타임 및 메모리 비용을 갖는다.

실험 결과

연구 질문

• RQ1 단일 패assing, 저메모리 스트리밍 알고리즘이 카디널리티 제약 조건 하에서 단조 부분모듈러 최대화 문제에서 0.5-근사를 초월할 수 있는가?
• RQ2 랜덤 오더 데이터 도착을 가정할 경우, 0.5-근사 장벽을 제거할 수 있는가?
• RQ3 스트리밍 모델에서 0.5-근사를 초월하는 데 필요한 최소 메모리 요구량은 얼마이며, 스트림 길이에 따라 스케일링되는가?
• RQ4 최적값에 대한 사전 지식이 없더라도, 향상된 근사 보장을 유지하면서 실용적인 알고리즘을 설계할 수 있는가?
• RQ5 실세계 응용 분야인 예시 기반 클러스터링 및 소셜 그래프 분석에서 Salsa의 성능은 Sieve-Streaming과 비교해 어떻게 되는가?

주요 결과

• Salsa는 랜덤 오더 도착 하에서 단조 부분모듈러 최대화 문제에 대해 (1−1/e)-근사를 기대값으로 달성하며, 이는 이전 방법의 0.5-근사보다 뚜렷이 향상된 성능이다.
• 논문은 0.5-근사를 초월하는 알고리즘이 악성 순서 스트림에서 최소 Ω(n/k) 메모리를 요구함을 증명하며, 임의의 순서 스트림에서 0.5 장벽이 날카롭게 타당함을 보여준다.
• 랜덤 오더 가정은 필수적이다. 즉, 임의의 순서 스트림에서 저메모리, 단일 패assing 알고리즘은 최적값 추정조차 0.5-근사를 초월할 수 없다.
• 실험 결과 Salsa는 예시 기반 클러스터링, 소셜 네트워크 분석, 추천 시스템에서 Sieve-Streaming과 같은 최첨단 알고리즘보다 뛰어난 성능을 보였다.
• 알고리즘은 최적값의 기하급수적 추정치에 기반한 추측 메커니즘으로 인해 메모리 및 시간 비용이 요소당 O(log(k)/ε)로 스케일링되며, 총 메모리 오버헤드는 O(log(k)/ε)이다.
• 이론적 분석 결과, Salsa의 근사 비율은 랜덤 오더 가정 하에서 임계값 수준이 증가할수록 (1−1/e)로 수렴함을 보여준다.