[논문 리뷰] Weakly Submodular Maximization Beyond Cardinality Constraints: Does Randomization Help Greedy?

Lin Chen, Moran Feldman외 1명|arXiv (Cornell University)|2017. 07. 13.

Complexity and Algorithms in Graphs인용 수 18

한 줄 요약

이 논문은 일반 매트로이드 제약 조건 하에서 $\gamma$-약하게 하위모듈라 함수를 최대화하기 위해 $(1+1/\gamma)^{-2}$의 근사 비율을 달성하는 랜덤화된 그레디언트 알고리즘인 Residual Random Greedy를 소개한다—이것은 기수 제약 조건 외의 경우에 대해 이 클래스 문제에 대한 처음으로 비자명한 이론적 보장을 제공한다. 실제 응용 사례인 이미지 설명과 영상 요약에서 표준 그레디언트보다 성능이 향상됨을 보여준다.

ABSTRACT

Submodular functions are a broad class of set functions, which naturally arise in diverse areas. Many algorithms have been suggested for the maximization of these functions. Unfortunately, once the function deviates from submodularity, the known algorithms may perform arbitrarily poorly. Amending this issue, by obtaining approximation results for set functions generalizing submodular functions, has been the focus of recent works. One such class, known as weakly submodular functions, has received a lot of attention. A key result proved by Das and Kempe (2011) showed that the approximation ratio of the greedy algorithm for weakly submodular maximization subject to a cardinality constraint degrades smoothly with the distance from submodularity. However, no results have been obtained for maximization subject to constraints beyond cardinality. In particular, it is not known whether the greedy algorithm achieves any non-trivial approximation ratio for such constraints. In this paper, we prove that a randomized version of the greedy algorithm (previously used by Buchbinder et al. (2014) for a different problem) achieves an approximation ratio of $(1 + 1/\\gamma)^{-2}$ for the maximization of a weakly submodular function subject to a general matroid constraint, where $\\gamma$ is a parameter measuring the distance of the function from submodularity. Moreover, we also experimentally compare the performance of this version of the greedy algorithm on real world problems against natural benchmarks, and show that the algorithm we study performs well also in practice. To the best of our knowledge, this is the first algorithm with a non-trivial approximation guarantee for maximizing a weakly submodular function subject to a constraint other than the simple cardinality constraint. In particular, it is the first algorithm with such a guarantee for the important and broad class of matroid constraints.

연구 동기 및 목표

• 기수 제약 조건 외의 제약 조건 하에서 약하게 하위모듈라 함수 최대화에 대한 이론적 보장 부족 문제를 해결한다.
• 그레디언트 기반 알고리즘의 적용 범위를 조합 최적화에서 광범위하고 중요한 제약 조건 클래스인 일반 매트로이드 제약 조건으로 확장한다.
• 랜덤화가 약하게 하위모듈라 설정에서 그레디언트 알고리즘의 이론적 및 실용적 성능을 향상시킨다는 것을 보여준다.
• 하위모듈라 함수를 일반화하는 널리 사용되는 함수 클래스에 대해 증명 가능한 근사 보장을 제공한다. 특히 기계 학습 및 데이터 마이닝에서 중요하다.
• 비하위모듈라 설정에서 그레디언트 알고리즘의 이론적 성능과 실용적 행동 간 격차를 메운다.

제안 방법

• 원래 하위모듈라 최대화를 위해 설계된 Residual Random Greedy 알고리즘을 일반 매트로이드 제약 조건 하에서 약하게 하위모듈라 함수로 적응시킨다.
• 비하위모듈라성에 대한 강건성을 향상시키기 위해 잔류 함수에 대한 경계가 높은 경계 기여도를 가진 요소를 우선적으로 선택하는 랜덤 선택 메커니즘을 사용한다.
• 하위모듈라성에서의 이탈 정도를 측정하는 파라미터인 $\gamma$에 따라 근사 비율을 바ounds하는 새로운 분석 프레임워크를 도입한다.
• 근사 비율이 $(1+1/\gamma)^{-2}$임을 입증하며, 이는 $\gamma$가 증가함에 따라 (즉, 함수가 더 비하위모듈라가 될수록) 부드럽게 악화됨을 보여준다.
• 매트로이드의 구조를 활용하여 각 단계에서 해의 타당성을 유지하면서도 이론적 보장을 확보한다.
• 유전자 스플라이스 사이트 탐지 및 영상 요약과 같은 실제 문제에 대해 방법을 경험적으로 검증하며, 표준 그레디언트 및 랜덤 선택과 비교한다.

실험 결과

연구 질문

• RQ1 일반 매트로이드 제약 조건 하에서 $\gamma$-약하게 하위모듈라 함수를 최대화하기 위해 랜덤화된 그레디언트 알고리즘이 비자명한 근사 비율을 달성할 수 있는가?
• RQ2 랜덤화가 기수 제약 조건 외의 제약 조건 하에서 약하게 하위모듈라 최대화의 그레디언트 알고리즘 이론적 성능을 향상시키는가?
• RQ3 약하게 하위모듈라 목표 함수를 포함한 실용적 응용에서 Residual Random Greedy 알고리즘이 표준 그레디언트 및 랜덤 선택보다 어떻게 비교되는가?
• RQ4 복잡한 제약 조건인 매트로이드를 포함한 약하게 하위모듈라 설정에서 그레디언트 스타일 알고리즘에 대해 증명 가능한 근사 보장이 존재하는가?
• RQ5 이론적 분석을 비단순한 약하게 하위모듈라 함수에 대해 매트로이드 제약 조건 하에 확장할 수 있는가?

주요 결과

• Residual Random Greedy 알고리즘은 일반 매트로이드 제약 조건 하에서 $\gamma$-약하게 하위모듈라 함수 최대화에 대해 $(1+1/\gamma)^{-2}$의 근사 비율을 달성한다.
• 이것은 기수 제약 조건 외의 제약 조건 하에서 약하게 하위모듈라 최대화에 대한 처음으로 비자명한 근사 보장이다.
• 유전자 스플라이스 사이트 탐지 및 영상 요약 작업에서, Residual Random Greedy는 표준 그레디언트 및 랜덤 선택보다 관련 특징을 더 잘 식별한다.
• 이미지 설명 작업에서 Residual Random Greedy는 베른즈 산개의 머리 부분을 성공적으로 식별하지만, 표준 그레디언트는 코만 함께 선택하고 관련 없는 부분까지 포함한다.
• Residual Random Greedy 하에서 선택된 슈퍼픽셀 수가 증가할수록 정확한 레이블 예측의 가능성은 점진적으로 증가하며, 표준 그레디언트 및 랜덤 선택보다 뛰어나다.
• 랜덤 선택은 최대 가능성도 뿐만 아니라 $4.39 \times 10^{-4}$에 불과하여 의미 없는 성능을 보이며, Residual Random Greedy는 유의미하게 높고 점진적으로 증가하는 가능성 유지한다.