[논문 리뷰] How Do You Want Your Greedy: Simultaneous or Repeated?

Moran Feldman, Christopher Harshaw외 1명|arXiv (Cornell University)|2020. 09. 29.

Complexity and Algorithms in Graphs참고 문헌 32인용 수 8

한 줄 요약

이 논문은 $k$-확장 가능한 시스템에 대해 $k + \mathcal{O}(1)$, $k$-시스템에 대해 $k + \mathcal{O}(\sqrt{k})$의 가장 날카운 근사 보장을 달성하는 결정적 알고리즘인 SimultaneousGreedys를 소개한다. 이 알고리즘은 $\ell$개의 해를 유지하며 동시에 업데이트함으로써 근사 성능과 안정성을 향상시킨다. 또한 RepeatedGreedy의 분석을 개선하여 $k + \mathcal{O}(\sqrt{k})$ 근사 보장을 달성하기 위해 $\mathcal{O}(\sqrt{k})$회의 반복으로 충분함을 보이며, 두 알고리즘 모두 거의 선형 시간과 다중 캐리어 제약 조건을 지원한다.

ABSTRACT

We present SimultaneousGreedys, a deterministic algorithm for constrained submodular maximization. At a high level, the algorithm maintains $\ell$ solutions and greedily updates them in a simultaneous fashion. SimultaneousGreedys achieves the tightest known approximation guarantees for both $k$-extendible systems and the more general $k$-systems, which are $(k+1)^2/k = k + \mathcal{O}(1)$ and $(1 + \sqrt{k+2})^2 = k + \mathcal{O}(\sqrt{k})$, respectively. This is in contrast to previous algorithms, which are designed to provide tight approximation guarantees in one setting, but not both. We also improve the analysis of RepeatedGreedy, showing that it achieves an approximation ratio of $k + \mathcal{O}(\sqrt{k})$ for $k$-systems when allowed to run for $\mathcal{O}(\sqrt{k})$ iterations, an improvement in both the runtime and approximation over previous analyses. We demonstrate that both algorithms may be modified to run in nearly linear time with an arbitrarily small loss in the approximation. Both SimultaneousGreedys and RepeatedGreedy are flexible enough to incorporate the intersection of $m$ additional knapsack constraints, while retaining similar approximation guarantees: both algorithms yield an approximation guarantee of roughly $k + 2m + \mathcal{O}(\sqrt{k+m})$ for $k$-systems and SimultaneousGreedys enjoys an improved approximation guarantee of $k+2m + \mathcal{O}(\sqrt{m})$ for $k$-extendible systems. To complement our algorithmic contributions, we provide a hardness result which states that no algorithm making polynomially many oracle queries can achieve an approximation better than $k + 1/2 + \varepsilon$. We also present SubmodularGreedy.jl, a Julia package which implements these algorithms and may be downloaded at https://github.com/crharshaw/SubmodularGreedy.jl . Finally, we test the effectiveness of these algorithms on real datasets.

연구 동기 및 목표

• 이전 알고리즘이 동시에 수행하지 못하는 $k$-시스템과 $k$-확장 가능한 시스템 양쪽 모두에서 가장 날카운 근사 보장을 달성하는 결정적 알고리즘을 개발하는 것.
• RepeatedGreedy의 이론적 분석을 향상시켜 $k$-시스템에서 $k + \mathcal{O}(\sqrt{k})$ 근사 보장을 달성하기 위해 $\mathcal{O}(\sqrt{k})$회의 반복으로 충분함을 보이는 것.
• 강력한 근사 보장을 유지하면서 다중 캐리어 제약 조건을 효율적으로 처리할 수 있도록 하는 것.
• 근사 보장에 거의 영향을 주지 않고 거의 선형 시간 내에 수행 가능한 두 알고리즘의 변형을 제공함으로써 실용적 확장성을 확보하는 것.
• $k$-시스템에서 어떤 다항식 쿼리 알고리즘도 $k + \frac{1}{2} + \varepsilon$ 보다 나은 근사 보장을 달성할 수 없다는 경계 결과를 설정하는 것.

제안 방법

• SimultaneousGreedys는 순차적으로가 아니라 동시에 업데이트하는 방식으로 $\ell$개의 해를 유지함으로써 근사 성능과 강건성을 향상시킨다.
• 이 알고리즘은 모든 현재 해에 걸쳐 마진 간익을 동시에 향상시키는 방식으로 요소를 선택하는 동시 업데이트 규칙을 사용한다.
• 캐리어 제약 조건을 위해 비용 인식 선택 전략을 통합하여 선택된 요소의 총 비용이 예산 내에 유지되도록 한다.
• 다중 해 상태 간의 근사 비율을 제한하기 위해 새로운 잠재 함수 기반 분석 기법을 활용한다.
• 반복적 그리디 알고리즘의 분석을 더 엄밀한 평균 비용 기반 분석을 통해 개선하여 $\mathcal{O}(\sqrt{k})$회의 반복으로도 $k + \mathcal{O}(\sqrt{k})$ 근사 보장이 충분함을 보였다.
• 양쪽 알고리즘은 레이지 평가와 샘플링 기법을 통해 거의 선형 시간 내에 수행되도록 변형되었으며, 근사 보장에 대한 손실이 제한적이다.

실험 결과

연구 질문

• RQ1 단일 결정적 알고리즘이 $k$-시스템과 $k$-확장 가능한 시스템 양쪽 모두에서 가장 날카운 알려진 근사 보장을 동시에 달성할 수 있는가?
• RQ2 RepeatedGreedy 알고리즘이 더 엄밀하게 분석되어, 좋은 근사 보장을 달성하기 위해 필요한 반복 횟수를 줄일 수 있는가?
• RQ3 두 알고리즘 모두 강력한 이론적 보장을 유지하면서 다중 캐리어 제약 조건을 지원하도록 수정할 수 있는가?
• RQ4 이러한 문제들에 대해 거의 선형 시간 성능을 달성하면서도 근사 보장에 거의 영향을 주지 않는 것이 가능한가?
• RQ5 다항식 쿼리 알고리즘으로서 $k$-시스템에서 달성 가능한 최고의 근사 비율은 무엇인가?

주요 결과

• SimultaneousGreedys는 $k$-확장 가능한 시스템에 대해 $k + \mathcal{O}(1)$, $k$-시스템에 대해 $k + \mathcal{O}(\sqrt{k})$의 근사 비율을 달성하며, 이는 현재 알려진 가장 날카운 보장이다.
• RepeatedGreedy는 $\mathcal{O}(\sqrt{k})$회의 반복만으로도 $k + \mathcal{O}(\sqrt{k})$ 근사 보장을 달성하며, 이는 이전 분석에서 요구하던 $\mathcal{O}(k)$회의 반복보다 향상된 것이다.
• 모노톤 목적이 있는 경우, 두 알고리즘 모두 $k+1$ 근사 보장으로 향상되어 보다 날카운 경계를 확보한다.
• 근사 보장에 거의 영향을 주지 않고 거의 선형 시간 내에 수행 가능한 변형으로 수정 가능하여, 이는 $k$-확장 가능한 시스템과 $k$-시스템에 대해 처음으로 이루어지는 것이다.
• 추가로 $m$개의 캐리어 제약 조건이 존재할 경우, SimultaneousGreedys는 $k$-확장 가능한 시스템에 대해 $k + 2m + \mathcal{O}(\sqrt{m})$ 근사 비율을 달성하며, $k$-시스템에 대해서는 $k + 2m + \mathcal{O}(\sqrt{k+m})$의 근사 비율을 달성한다.
• 경계 결과에 따르면, 어떤 다항식 쿼리 알고리즘도 $k$-시스템에서 $k + \frac{1}{2} + \varepsilon$ 보다 나은 근사 보장을 달성할 수 없으며, 이는 새로운 보장의 날카운 정도를 시사한다.