[논문 리뷰] A note on concentration of submodular functions

J. Vondrák|arXiv (Cornell University)|2010. 05. 17.

Mathematical Approximation and Integration참고 문헌 11인용 수 33

한 줄 요약

이 논문은 자가유지 함수에 대한 엔트로피 방법을 사용하여 독립적인 랜덤 변수의 하위모듈라 및 분수적 하위加성 함수에 대해 차원에 영향을 받지 않는 농도 불등식을 수립한다. 이러한 함수들은 일반적인 1-Lipschitz 함수의 전형적인 $O(\sqrt{n})$ bound가 아니라 표준편차 $O(\sqrt{\mathbb{E}[f]})$를 보이며, 이는 고차원 설정에서 더 날카운 꼬리 bound를 가능하게 한다.

ABSTRACT

We survey a few concentration inequalities for submodular and fractionally subadditive functions of independent random variables, implied by the entropy method for self-bounding functions. The power of these concentration bounds is that they are dimension-free, in particular implying standard deviation O(\sqrt{\E[f]}) rather than O(\sqrt{n}) which can be obtained for any 1-Lipschitz function of n variables.

연구 동기 및 목표

• 독립적인 랜덤 변수 하에서 하위모듈라 및 분수적 하위加성 함수에 대해 날카로운 농도 불등식을 수립하기 위해.
• 이러한 함수들이 표준편차가 $O(\sqrt{\mathbb{E}[f]})$로 스케일링되는, 즉 차원에 영향을 받지 않는 농도를 보이며 $O(\sqrt{n})$이 아닌 성질을 갖는다는 것을 보여주기 위해.
• 이전 연구에서 간과되었던 자가유지 함수와 하위모듈라/분수적 하위加성 함수 사이의 관계를 명확히 하기 위해.
• $(a,b)$-자기유지 프레임워크를 사용하여 비단조화 하위모듈라 함수에 대해 더 날카운 꼬리 bound를 제공하기 위해.
• 일반적인 하위加성 함수가 유사한 농도 성질을 갖지 못함을 보여주는 반례를 제시하여 한계를 설명하기 위해.

제안 방법

• 자기유지 함수에 대한 엔트로피 방법을 활용하여 농도 bound를 유도하기 위해.
• $(a,b)$-자기유지 함수의 정의를 사용하여 단조 하위모듈라 함수를 초월한 농도 결과를 일반화하기 위해.
• 자기유지 성질을 적용하여 비음수 하위모듈라 함수 중 마진 값이 $[-1,1]$ 범위에 속하는 함수가 $(2,0)$-자기유지임을 보여주기 위해.
• 일반적인 $(a,b)$-자기유지 함수에 대한 부등식을 사용하여 $a=2$, $b=0$, $c=5/6$일 때 꼬리 bound를 도출하기 위해.
• 하위加성 함수가 $(a,b)$-자기유지가 아니며 유사한 농도 성질을 갖지 못함을 보여주는 반례를 구성하기 위해.
• 중앙극한정리를 사용하여 반례 함수의 행동을 분석하고 날카로운 농도가 부족함을 보여주기 위해.

실험 결과

연구 질문

• RQ1 하위모듈라 및 분수적 하위加성 함수가 일반적인 $O(\sqrt{n})$ bound 대신 표준편차 $O(\sqrt{\mathbb{E}[f]})$로 농도를 보일 수 있는가?
• RQ2 자기유지 함수와 하위모듈라/분수적 하위加성 함수 사이의 관계는 무엇인가?
• RQ3 비단조화 하위모듈라 함수는 차원에 영향을 받지 않는 농도를 보이는가?
• RQ4 일반적인 1-Lipschitz 함수보다 비단조화 하위모듈라 함수에 대해 더 날카운 꼬리 bound를 유도할 수 있는가?
• RQ5 하위加성 함수는 1-Lipschitz이지만 왜 유사한 농도 성질을 갖지 못하는가?

주요 결과

• 비음수 하위모듈라 함수 중 마진 값이 $[-1,1]$에 속하는 함수는 $\Pr[Z \geq (1+\delta)\mathbb{E}[Z]] \leq e^{-\delta^2 \mathbb{E}[Z]/(4 + 5\delta/3)}$ 및 $\Pr[Z \leq (1-\delta)\mathbb{E}[Z]] \leq e^{-\delta^2 \mathbb{E}[Z]/4}$를 만족한다.
• 큰 $\delta$에 대해 상단 꼬리가 단순한 지수 함수로 감소하며, 이는 단조 하위모듈라 함수의 체르노프 유형 bound보다 약한 것이다.
• 마진 값이 $[0,1]$에 속하는 분수적 하위加성 함수는 자기유지이므로, 차원에 영향을 받지 않는 농도를 갖는다.
• 비단조화 하위모듈라 함수는 $(2,0)$-자기유지이므로 일반적인 $(a,b)$-자기유지 농도 bound를 적용할 수 있다.
• 마진 값이 $[0,1]$에 속하는 하위加성 함수를 구성하였으며, 이는 어떤 상수 $a,b$에 대해서도 $(a,b)$-자기유지가 아니며 표준편차가 $\Theta(\sqrt{n})$임을 보여주어 날카로운 농도가 부족함을 입증한다.
• 하위加성 함수는 더 약한 농도 부등식을 만족한다: $\Pr[Z \geq (q+1)a + k] \leq \Pr[Z \leq a]^{-q} q^{-k}$, 이는 $a$가 중앙값이고 $q=2$일 때 $\Pr[Z \geq 3a + k] \leq 2^{2-k}$를 함의한다.