[논문 리뷰] Approximate Submodular Functions and Performance Guarantees

Gaurav Gupta, Sérgio Pequito외 1명|arXiv (Cornell University)|2018. 06. 17.

Complexity and Algorithms in Graphs참고 문헌 31인용 수 7

한 줄 요약

이 논문은 비하위모듈러(set) 함수를 δ-근사 하위모듈러러 함수를 사용하여 근사화하는 새로운 프레임워크를 제안하며, 탐욕 알고리즘의 성능 한계를 선형 시간 내에 계산할 수 있도록 한다. 비하위모듈러성에 대한 오차를 고려하여 하위모듈러성의 '영역'을 정의하고, 기존의 부분 최적화 보장을 통합하고 강화하는 일반화된 탐욕 곡률을 도입함으로써, 조합적 방법에 비해 계산 효율성이 크게 향상된다.

ABSTRACT

We consider the problem of maximizing non-negative non-decreasing set functions. Although most of the recent work focus on exploiting submodularity, it turns out that several objectives we encounter in practice are not submodular. Nonetheless, often we leverage the greedy algorithms used in submodular functions to determine a solution to the non-submodular functions. Hereafter, we propose to address the original problem by \emph{approximating} the non-submodular function and analyze the incurred error, as well as the performance trade-offs. To quantify the approximation error, we introduce a novel concept of $δ$-approximation of a function, which we used to define the space of submodular functions that lie within an approximation error. We provide necessary conditions on the existence of such $δ$-approximation functions, which might not be unique. Consequently, we characterize this subspace which we refer to as \emph{region of submodularity}. Furthermore, submodular functions are known to lead to different sub-optimality guarantees, so we generalize those dependencies upon a $δ$-approximation into the notion of \emph{greedy curvature}. Finally, we used this latter notion to simplify some of the existing results and efficiently (i.e., linear complexity) determine tightened bounds on the sub-optimality guarantees using objective functions commonly used in practical setups and validate them using real data.

연구 동기 및 목표

• 탐욕 알고리즘이 이론적 보장 없이도 실용적 응용에서 비하위모듈러성, 음이 아닌, 비감소적인 집합 함수 최대화 문제를 해결하는 데 도전하는 데에 대응하기 위해.
• 비하위모듈러러 함수를 유한한 오차 δ 내에서 하위모듈러러 함수로 근사화하는 것을 형식화하고, 하위모듈러성에서의 이격 정도를 정량화하기 위해.
• 이러한 하위모듈러러 근사 함수의 공간을 기술하는 것—즉, 하위모듈러성의 '영역'(ROS)을 정의하고, 부분 최적화 갭을 최소화하는 최적의 근사 함수를 식별하기 위해.
• 기존의 곡률 기반 성능 한계를 통합하고 단순화하는 새로운 탐욕 곡률 개념을 개발하여, δ-근사 하위모듈러러 함수에 적용된 탐욕 알고리즘에 대해 효율적인 선형 시간 내의 부분 최적화 보장을 가능하게 하기 위해.

제안 방법

• 모든 부분집합에서의 점별 오차가 δ 이내로 제한되는 방식으로 비하위모듈러러 함수를 하위모듈러러 함수로 근사화하는 δ-근사화 프레임워크를 제안한다.
• 주어진 비하위모듈러러 함수의 모든 하위모듈러러 함수 중에서 δ-근사화를 만족하는 함수들의 집합으로서 '하위모듈러성의 영역'(ROS)을 도입하여 근사 품질의 체계적 분석을 가능하게 한다.
• 기존 곡률 정의를 일반화하고, δ-근사 하위모듈러러 함수에 적용된 탐욕 알고리즘에 대해 더 강력하고 통합된 성능 한계를 도출할 수 있는 새로운 탐욕 곡률 개념을 정의한다.
• 새로운 곡률 정의를 사용하여 탐욕 알고리즘의 성능 한계를 유도하고, 계산 복잡도를 기존의 조합적 O(2^N) 복잡도에서 O(N)으로 감소시킨다.
• 일반화된 곡률과 δ-근사화를 활용하여 기존 곡률 기반 보장의 증명을 단순화하고, 비하위모듈러러 설정으로 확장한다.
• 실제 데이터를 활용한 검증을 통해 성능 한계의 향상과 센서 선택 및 엔트로피 기반 추정 작업에서의 일관된 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 모든 비하위모듈러러 집합 함수는 모든 부분집합에서 균일한 오차 한계 δ 내에서 하위모듈러러 함수로 근사될 수 있는가?
• RQ2 이러한 δ-근사 하위모듈러러 함수의 공간은 어떻게 기술할 수 있으며, 부분 최적화 보장 측면에서 어떤 특성이 한 근사가 다른 근사보다 나은지를 결정하는가?
• RQ3 δ-근사 하위모듈러러 함수에 적용된 탐욕 알고리즘의 성능 한계는 어떻게 강화하고 효율적으로 계산할 수 있는가?
• RQ4 비하위모듈러러 함수를 근사할 때 곡률은 부분 최적화 갭을 결정하는 데 어떤 역할을 하는가? 기존 결과를 통합하기 위해 어떻게 일반화할 수 있는가?
• RQ5 기존 방법에 비해 이 프레임워크는 실세계 최적화 과제에서 계산 복잡도와 실증 성능 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 δ-근사화 프레임워크는 오차 범위 내에서 하위모듈러러 근사의 특성을 기술할 수 있으며, 하위모듈러성의 '영역'(ROS)을 통해 '하위모듈러성에의 가까움' 개념을 형식화한다.
• 새로운 탐욕 곡률 정의는 기존 곡률 개념을 통합하고 일반화하여, 성능 한계 분석을 더 통합적이고 단순화된 방식으로 가능하게 한다.
• δ-근사 하위모듈러러 함수에 적용된 탐욕 알고리즘의 성능 한계는 선형 시간 O(N) 내에 계산 가능하여, 이전 방법의 지수 시간 복잡도에 비해 크게 향상된다.
• 프레임워크는 부분 최적화 성능 저하가 하위모듈러리티에서의 이격에 대한 보상임을 규명하며, δ가 증가할수록 한계가 감소함으로써 근사 오차와 해 품질 사이의 트레이드오���을 정량화한다.
• 실제 데이터를 활용한 실증 검증에서 최소 고유값 지표와 탐욕 선택이 랜덤 선택보다 센서 선택 과제에서 뛰어난 성능을 보이며, 네 가지 과제에서 일관된 성능 격차를 관찰했다.
• ROS 내에서 총 곡률가 최소인 하위모듈러러 근사 함수를 선택함으로써, 이전 방법보다 더 강력한 부분 최적화 보장을 가능하게 하여 실용적 유용성을 향상시켰다.