[논문 리뷰] Robust Submodular Maximization: A Non-Uniform Partitioning Approach

Ilija Bogunovic, Slobodan Mitrović외 2명|arXiv (Cornell University)|2017. 06. 15.

Complexity and Algorithms in Graphs인용 수 30

한 줄 요약

이 논문은 카디널리티 제약 조건 하에서 단조 감소하는 부분모듈러 최대화를 위한 분할형 강건성(Practical Robust, PRo) 알고리즘을 제안하며, 최대 $\tau = o(k)$개의 요소가 악성 제거될 경우에도 일정 요인 근사치를 확보한다. 솔루션을 지수적 크기의 버킷으로 분할하고 각 버킷에 대해 부분모듈러 최적화를 적용함으로써, 이전의 상태 기술인 $\tau = o(\sqrt{k})$에서 더 넓은 $\tau = o(k)$ 영역으로 확장한다. 실험 결과로는, 그레디언트 알고리즘과 OSU 알고리즘에 비해 더 뛰어난 강건한 성능을 보였다.

ABSTRACT

We study the problem of maximizing a monotone submodular function subject to a cardinality constraint $k$, with the added twist that a number of items $τ$ from the returned set may be removed. We focus on the worst-case setting considered in (Orlin et al., 2016), in which a constant-factor approximation guarantee was given for $τ= o(\sqrt{k})$. In this paper, we solve a key open problem raised therein, presenting a new Partitioned Robust (PRo) submodular maximization algorithm that achieves the same guarantee for more general $τ= o(k)$. Our algorithm constructs partitions consisting of buckets with exponentially increasing sizes, and applies standard submodular optimization subroutines on the buckets in order to construct the robust solution. We numerically demonstrate the performance of PRo in data summarization and influence maximization, demonstrating gains over both the greedy algorithm and the algorithm of (Orlin et al., 2016).

연구 동기 및 목표

• 기존의 $\tau = o(\sqrt{k})$ 제한을 넘어서 $\tau = o(k)$에서 일정 요인 근사치를 확보할 수 있는 강건한 부분모듈러 최대화 문제를 해결하기 위한 것이다.
• 크기가 $k$인 선택된 집합에서 $\tau$개 요소가 악성 제거될 경우에도 높은 강건성을 확보할 수 있는 효율적인 다항시간 알고리즘을 설계하기 위한 것이다.
• 강건성과 목적 함수 값을 균형 있게 유지하기 위해 지수적 증가하는 버킷 크기를 가진 새로운 분할 구조를 제안하기 위한 것이다.
• 실세계 응용 분야인 데이터 요약 및 영향력 최대화에서 그레디언트 알고리즘과 OSU 알고리즘에 비해 PRo의 우월성을 실증적으로 검증하기 위한 것이다.
• 스토케스틱 서브루틴을 PRo에 사용할 경우 강건성에 거의 영향을 주지 않으면서도 확장성을 확보할 수 있음을 보여주기 위한 것이다.

제안 방법

• PRo 알고리즘은 초기 크기가 작은 버킷으로 시작하는 지수적 크기 증가를 보이는 $O(\log k)$개의 버킷으로 솔루션 집합을 분할한다.
• 각 버킷은 표준 부분모듈러 최적화 서브루틴(예: 그레디언트 또는 스토케스틱 그레디언트)을 독립적으로 적용하여 마진 간 이득을 최대화한다.
• 알고리즘은 크기가 증가하는 여러 버킷의 결과를 통합함으로써, $\tau$개 요소의 악성 제거에 견딜 수 있는 강건한 부분 솔루션을 구성한다.
• 핵심 분석적 혁신은 인접한 파artition 간 목적 함수 값 간의 재귀적 관계를 도입하여 일정 요인 근사치를 증명하는 데 기여한다.
• 버킷 크기가 $2^i$로 증가하는 비균일한 분할 전략을 사용함으로써, $O(\tau \mathrm{poly}\log\tau)$개의 강건한 요소로 강건성 요구사항을 효율적으로 충족시킬 수 있다.
• 알고리즘은 효율적으로 설계되어 오직 $O(nk)$개의 오라클 쿼리만 필요하며, 결정론적 및 스토케스틱 서브루틴 모두를 지원한다.

실험 결과

연구 질문

• RQ1 기존의 $\tau = o(\sqrt{k})$ 한계를 넘어서 $\tau = o(k)$일 경우에도 강건한 부분모듈러 최대화에 대해 일정 요인 근사치를 확보할 수 있는가?
• RQ2 새로운 분할 구조는 강건성을 향상시키면서도 계산 효율성을 유지할 수 있는가?
• RQ3 제안된 PRo 알고리즘이 그레디언트 및 OSU 알고리즘보다 악성 제거 상황에서의 최악의 목적 함수 값에서 뛰어난 성능을 보일 수 있는가?
• RQ4 PRo에 스토케스틱 그레디언트 서브루틴을 사용할 경우 강건성과 목적 함수 값에 어떤 영향을 미치는가?
• RQ5 제안된 알고리즘은 영향력 최대화 및 데이터 요약과 같은 대규모 응용 분야에서 확장 가능하고 효과적인가?

주요 결과

• PRo는 $\tau = o(k)$에서 일정 요인 근사치 보장을 달성하여, Orlin 등(2016)이 제기한 열린 문제를 해결하였다.
• 특히 $\tau$가 클수록 악성 제거 상황에서 그레디언트 및 OSU 알고리즘보다 강건성이 뛰어나다.
• ego-Facebook 및 ego-Twitter 데이터셋에서 $\tau=7$ 제거 후에도 PRo-Greedy는 원래 값이 더 높았던 그레디언트보다 더 높은 강건 목적 함수 값을 확보하였다.
• CM-Molecules 데이터셋에서는 PRo-Greedy가 가장 높은 강건 목적 함수 값을 기록하였으며, 그 다음으로 OSU, 그레디언트 순이었고, 이는 강건성 측면에서의 일관된 우월성을 보여주었다.
• PRo에 스토케스틱 그레디언트 서브루틴을 사용한 결과 성능 저하가 미미하여, 계산 비용을 줄였음에도 불구하고 강건성과 확장성은 유지됨을 확인하였다.
• PRo는 $k \geq \tau \log \tau$ 조건만 충족하면 작동하지만, OSU는 $k \geq \tau^2$ 가 필요하므로 PRo가 더 큰 $\tau$ 조건에서도 적용 가능하다.