[논문 리뷰] Submodular Optimization under Noise

Avinatan Hassidim, Yaron Singer|arXiv (Cornell University)|2016. 01. 12.

Complexity and Algorithms in Graphs참고 문헌 71인용 수 17

한 줄 요약

이 논문은 곱셈 오차에 의해 손상되는 함수 평가를 수반하는 노이즈 있는 오라클 상에서의 부분모듈러 함수 최대화를 연구한다. $k \geq 2$일 경우 $1-1/e$에 임의로 가까운 근사 비율을 달성하는 스무딩 그레디언트 알고리즘을 제안하며, $k=1$일 경우 $1/2$에 가까운 근사 비율을 달성한다. 이는 확률적 노이즈 조건 하에서 성립하며, 적대적 노이즈 조건에서는 비현실적인 근사가 불가능하다는 것을 보여준다.

ABSTRACT

We consider the problem of maximizing a monotone submodular function under noise. There has been a great deal of work on optimization of submodular functions under various constraints, resulting in algorithms that provide desirable approximation guarantees. In many applications, however, we do not have access to the submodular function we aim to optimize, but rather to some erroneous or noisy version of it. This raises the question of whether provable guarantees are obtainable in presence of error and noise. We provide initial answers, by focusing on the question of maximizing a monotone submodular function under a cardinality constraint when given access to a noisy oracle of the function. We show that: - For a cardinality constraint $k \geq 2$, there is an approximation algorithm whose approximation ratio is arbitrarily close to $1-1/e$; - For $k=1$ there is an algorithm whose approximation ratio is arbitrarily close to $1/2$. No randomized algorithm can obtain an approximation ratio better than $1/2+o(1)$; -If the noise is adversarial, no non-trivial approximation guarantee can be obtained.

연구 동기 및 목표

• 기본 제약 조건 하에서 노이즈 있는 오라클에 접근 가능한 단조 부분모듈러 함수의 최대화 시에도 증명 가능한 근사 보장을 유지할 수 있는지 조사하는 것.
• 적대적 노이즈 조건 하에서 기존의 그레디언트 알고리즘의 내성적 내성의 한계를 규명하는 것.
• 노이즈 있는 함수 평가에도 불구하고 near-optimal 근사 비율을 달성할 수 있는 새로운 알고리즘을 개발하는 것.
• 다양한 노이즈 모델, 특히 적대적 노이즈와 확률적 노이즈 조건 하에서 최고의 근사 비율에 대한 이론적 한계를 설정하는 것.

제안 방법

• 반복적 샘플링을 통해 노이즈 있는 함수 평가를 스무딩하고, 경계 기여도 추정치의 분산을 줄이는 Smooth Greedy 알고리즘을 제안한다.
• 큰 $k$를 위한 Slick Greedy 알고리즘을 도입하여, 노이즈 있는 평가 하에서 후보 집합을 비교하기 위한 스무딩된 비교 절차를 사용한다.
• 조합 평균화 및 샘플드 평균 그레디언트 기법을 활용하여 노이즈 조건 하에서 경계 기여도 추정치의 안정성을 확보한다.
• 덧셈 노이즈, 경계 노이즈, 상관 노이즈, 근사 부분모듈러리티를 포함한 노이즈 모델을 분석하며, 특히 곱셈 노이즈에 중점을 둔다.
• 높은 확률의 농도 경계와 정보 이론적 추론을 사용하여 근사 보장을 도출한다.
• 노이즈 분포 모델을 $\widetilde{f}(S) = \xi_S f(S)$로 설정하며, $\xi_S \in [1-\epsilon, 1+\epsilon]$ 이고, $\epsilon$ 이 근사 품질에 미치는 영향을 연구한다.

실험 결과

연구 질문

• RQ1 함수 평가가 노이즈 있는 오라클을 통해만 가능할 경우, 기저 제약 조건 하에서 단조 부분모듈러 최대화에 대해 상수 요소 근사 비율을 달성할 수 있는가?
• RQ2 노이즈가 확률적일 경우와 적대적일 경우, 달성 가능한 최고의 근사 비율은 각각 얼마인가?
• RQ3 표준 그레디언트 알고리즘이 조그만 곱셈 노이즈 조건 하에서도 실패하는 이유는 무엇이며, 이를 보완할 수 있는 강건한 대체 알고리즘을 설계할 수 있는가?
• RQ4 확률적 노이즈 조건 하에서 $k \geq 2$일 경우 $1-1/e$에 임의로 가까운 근사 비율을 달성할 수 있는가?
• RQ5 적대적 노이즈 조건 하에서 근사의 기본 한계가 존재하는가? 만약 존재한다면 그 한계는 무엇인가?

주요 결과

• 모든 $k \geq 2$ 조건에서, 확률적 곱셈 노이즈 조건 하에서 $1-1/e$에 임의로 가까운 근사 비율을 달성할 수 있는 다항식 시간 알고리즘이 존재한다.
• 모든 $k=1$ 조건에서, 근사 비율이 $1/2$에 임의로 가까운 알고리즘이 존재하며, 임의의 확률적 알고리즘은 $1/2 + o(1)$을 초과할 수 없다.
• 적대적 노이즈 조건 하에서는 정보 이론적 한계로 인해 비현실적인 근사가 불가능하며, 심지어 지수적 수의 질의를 사용하더라도 마찬가지다.
• 표준 그레디언트 알고리즘은 임의의 상수 $\epsilon > 0$ 조건 하에서도 실패하며, 심지어 덧셈 함수의 경우에도 $O(1/k)$의 근사 비율에 머무른다.
• 샘플드 평균 그레디언트 알고리즘은 노이즈 있는 함수가 진짜 함수에 매우 가까워도 근사 비율 측면에서 매우 나빠질 수 있다.
• 작은 $n$ 조건에서는 노이즈 조건 하에서 문제가 해결 불가능해지며, 모든 부분집합을 평가하지 않는 한 근사 비율이 임의로 열악해질 수 있다.