[논문 리뷰] Regularized Submodular Maximization at Scale

Ehsan Kazemi, Shervin Minaee외 2명|arXiv (Cornell University)|2020. 02. 10.

Complexity and Algorithms in Graphs참고 문헌 53인용 수 16

한 줄 요약

이 논문은 목적 함수 $ f(S) = g(S) - \ell(S) $ 를 최대화하는 문제에서, $ g $ 는 단조 증가하는 부분모듈라르, $ \ell $ 는 모듈라르인 정규화된 부분모듈라르 최대화를 위한 스트리밍 및 분산 환경에서의 첫 번째 확장 가능한 알고리즘인 Distorted-Streaming과 Distorted-Distributed-Greedy를 제안한다. 두 알고리즘은 각각 $ (\phi^{-2} - \varepsilon) \cdot g(\text{OPT}) - \ell(\text{OPT}) $ 와 $ (1 - \varepsilon)\left[(1 - e^{-1}) \cdot g(\text{OPT}) - \ell(\text{OPT})\right] $ 의 근사 보장을 제공하며, 이는 이전 연구 대비 메모리 및 통신 비용을 $ O(1/\varepsilon) $ 만큼 감소시킨다.

ABSTRACT

In this paper, we propose scalable methods for maximizing a regularized submodular function $f = g - \ell$ expressed as the difference between a monotone submodular function $g$ and a modular function $\ell$. Indeed, submodularity is inherently related to the notions of diversity, coverage, and representativeness. In particular, finding the mode of many popular probabilistic models of diversity, such as determinantal point processes, submodular probabilistic models, and strongly log-concave distributions, involves maximization of (regularized) submodular functions. Since a regularized function $f$ can potentially take on negative values, the classic theory of submodular maximization, which heavily relies on the non-negativity assumption of submodular functions, may not be applicable. To circumvent this challenge, we develop the first one-pass streaming algorithm for maximizing a regularized submodular function subject to a $k$-cardinality constraint. It returns a solution $S$ with the guarantee that $f(S)\geq(ϕ^{-2}-ε) \cdot g(OPT)-\ell (OPT)$, where $ϕ$ is the golden ratio. Furthermore, we develop the first distributed algorithm that returns a solution $S$ with the guarantee that $\mathbb{E}[f(S)] \geq (1-ε) [(1-e^{-1}) \cdot g(OPT)-\ell(OPT)]$ in $O(1/ ε)$ rounds of MapReduce computation, without keeping multiple copies of the entire dataset in each round (as it is usually done). We should highlight that our result, even for the unregularized case where the modular term $\ell$ is zero, improves the memory and communication complexity of the existing work by a factor of $O(1/ ε)$ while arguably provides a simpler distributed algorithm and a unifying analysis. We also empirically study the performance of our scalable methods on a set of real-life applications, including finding the mode of distributions, data summarization, and product recommendation.

연구 동기 및 목표

• 스트리밍 및 분산 환경에서 정규화된 부분모듈라르 함수를 최대화하기 위한 확장 가능한 알고리즘이 부족한 문제를 해결하기 위해.
• 전체 데이터에 대한 액세스가 불가능한 대규모 데이터를 효율적으로 한 번의 통과만으로 처리할 수 있도록 하기 위해.
• 목적 함수가 음수 값을 가질 수 있는 상황에서도 정규화된 부분모듈라르 최대화에 대한 이론적 근사 보장을 제공하기 위해.
• 기존 방법에 비해 분산 계산에서 메모리 및 통신 효율성을 향상시키기 위해.
• 실제 응용 분야인 데이터 요약 및 추천 시스템에서 제안된 알고리즘의 실험적 검증을 위해.

제안 방법

• 자기 제약 조건이 $ k $-카디널리티인 정규화된 부분모듈라르 최대화를 위한 단일 통과 스트리밍 알고리즘인 Distorted-Streaming을 제안한다.
• 스트리밍 환경에서 요소 선택 시 모듈라르 페널티 $ \ell $ 를 고려하는 왜곡 기반 그래디언트 선택 규칙을 도입한다.
• MapReduce를 사용하는 분산 알고리즘인 Distorted-Distributed-Greedy를 개발하여 $ O(1/\varepsilon) $ 라운드 내에서 $ (1 - \varepsilon) $-근사값을 달성한다.
• 기존의 부분모듈라르 최대화를 위한 분산 알고리즘보다 단순화되고 향상된 분석 프레임워크를 통합하여 적용한다.
• 분산 환경에서 데이터 세트의 여러 복사본을 저장하지 않기 위해 압축된 적응형 샘플링 전략을 사용한다.
• 비디오 요약, 제품 추천, 트위터 스트림 요약을 포함한 다양한 응용 분야에 알고리즘을 적용한다.

실험 결과

연구 질문

• RQ1 목적 함수가 음수일 수 있음에도 불구하고, 상수 요소 근사 보장을 제공하는 정규화된 부분모듈라르 최대화를 위한 단일 통과 스트리밍 알고리즘을 설계할 수 있는가?
• RQ2 기존 방법 대비 메모리 및 통신 비용을 $ O(1/\varepsilon) $ 배만큼 감소시키는 정규화된 부분모듈라르 최대화를 위한 분산 알고리즘을 개발할 수 있는가?
• RQ3 실제 데이터에서 제안된 방법이 기존 오프라인 및 스트리밍 기반 방법과 비교해 목적 함수 값과 확장성 측면에서 어떻게 성능을 내는가?
• RQ4 제안된 알고리즘이 데이터 요약 및 추천 시스템과 같은 다양한 실세계 응용 분야를 효과적으로 처리할 수 있는가?
• RQ5 통합 분석 프레임워크는 분산 부분모듈라르 최대화의 이론적 처리를 단순화하면서도 강력한 성능 보장을 유지하는가?

주요 결과

• Distorted-Streaming은 데이터를 한 번만 스캔하는 동안 $ (\phi^{-2} - \varepsilon) \cdot g(\text{OPT}) - \ell(\text{OPT}) $ 의 근사 보장을 달성하며, $ \phi^{-2} \approx 0.382 $ 이다.
• Distorted-Distributed-Greedy는 $ O(1/\varepsilon) $ 라운드 내에서 기대값으로 $ (1 - \varepsilon) \cdot \left[(1 - e^{-1}) \cdot g(\text{OPT}) - \ell(\text{OPT})\right] $ 의 근사값을 제공한다.
• 분산 알고리즘은 기존 연구 대비 메모리 및 통신 복잡도를 $ O(1/\varepsilon) $ 배만큼 감소시키며, 데이터 세트의 여러 복사본이 필요하지 않다.
• 실험 결과, Distorted-Streaming은 비디오, 위치, 텍스트 요약 작업 전반에서, 특히 $ k $ 가 클수록 선형 걸러내기 스트리밍과 그래디언트 동적 프로그래밍보다 목적 함수 값에서 뛰어난 성능을 보였다.
• 트위터 텍스트 요약에서 Distorted-Streaming은 기준 방법에 비해 훨씬 높은 목적 함수 값을 달성했으며, 계산 오버헤드는 거의 없었다.
• 제품 추천 및 소셜 네트워크의 정점 커버 문제에서 알고리즘이 강력한 성능을 보이며, 실용적 확장성과 효과성을 확인했다.