[논문 리뷰] Learning pseudo-Boolean k-DNF and Submodular Functions

Sofya Raskhodnikova, Grigory Yaroslavtsev|arXiv (Cornell University)|2012. 08. 10.

Complexity and Algorithms in Graphs인용 수 6

한 줄 요약

이 논문은 하위모듈라 함수 $f: \{0,1\}^n \to \{0,1,\dots,k\}$를 2k-문장형 불리안 표현으로 나타내는 새로운 방법을 제안하며, 이는 균일 분포 하에서 멤버십 쿼리가 가능한 PAC 학습 알고리즘을 가능하게 한다. 주요 기여는 고정된 $\epsilon$ 및 $\delta$에 대해 이전의 $n^{O(k)}$ bound에 비해 크게 향상된 $k^{O(k\log k/\epsilon)}$ 쿼리 복잡도를 가지는 다항 시간 학습 알고리즘을 제공하는 것이다. 이 방법은 일반화된 스위칭 렘마와 희소 푸리에 근사법을 활용하여 하위모듈라성에 대한 효율적 학습과 성질 테스트를 실현한다.

ABSTRACT

We prove that any submodular function f: {0,1}^n -> {0,1,...,k} can be represented as a pseudo-Boolean 2k-DNF formula. Pseudo-Boolean DNFs are a natural generalization of DNF representation for functions with integer range. Each term in such a formula has an associated integral constant. We show that an analog of Hastad's switching lemma holds for pseudo-Boolean k-DNFs if all constants associated with the terms of the formula are bounded. This allows us to generalize Mansour's PAC-learning algorithm for k-DNFs to pseudo-Boolean k-DNFs, and hence gives a PAC-learning algorithm with membership queries under the uniform distribution for submodular functions of the form f:{0,1}^n -> {0,1,...,k}. Our algorithm runs in time polynomial in n, k^{O(k \log k / ε)}, 1/εand log(1/δ) and works even in the agnostic setting. The line of previous work on learning submodular functions [Balcan, Harvey (STOC '11), Gupta, Hardt, Roth, Ullman (STOC '11), Cheraghchi, Klivans, Kothari, Lee (SODA '12)] implies only n^{O(k)} query complexity for learning submodular functions in this setting, for fixed epsilon and delta. Our learning algorithm implies a property tester for submodularity of functions f:{0,1}^n -> {0, ..., k} with query complexity polynomial in n for k=O((\log n/ \loglog n)^{1/2}) and constant proximity parameter ε.

연구 동기 및 목표

• 균일 분포 하에서 하위모듈라 함수 $f: \{0,1\}^n \to \{0,1,\dots,k\}$에 대한 효율적 학습 알고리즘을 개발하는 것.
• 모든 하위모듈라 함수가 상수의 범위가 제한된 의사-불리안 $2k$-DNF 표현을 가짐을 보여주는 구조적 결과를 확립하는 것.
• 일반화된 스위칭 렘마를 사용하여 맨서의 PAC 학습 프레임워크를 의사-불리안 $k$-DNF로 확장하는 것.
• 하위모듈라성에 대한 성질 테스트를 $n$에 대해 다항 복잡도로 수행할 수 있도록 하는 것. 이때 $k = O((\log n / \log\log n)^{1/2})$ 이다.

제안 방법

• 각 항이 정수 상수를 가지며, 최대 $k$개의 양성 변수와 $k$개의 부정 변수를 포함하는 의사-불리안 DNF를 사용하여 하위모듈라 함수를 표현하는 것.
• 상수의 범위가 제한된 의사-불리안 $k$-DNF에 대해 일반화된 스위칭 렘마를 증명하여 푸리에 계수를 제어할 수 있도록 하는 것.
• 모든 함수를 $\text{DNF}^{k,r}$에서 $\epsilon$-근사화하는 데 $M = k^{O(k\log(r/\epsilon))}$인 희소 함수를 사용하는 희소 푸리에 근사법을 적용하는 것.
• 쿠시레비츠-맨서 학습 알고리즘을 사용해 희소 근사치를 학습한 후, 값을 $2/(r-1)$의 가장 가까운 배수로 반올림하여 원래 함수를 오차 $\leq \epsilon$로 복원하는 것.
• 희소 근사치를 가진 함수에 대해 고판-칼라이-클리반스 학습 프레임워크를 활용하여 일반화된 설정으로 확장하는 것.

실험 결과

연구 질문

• RQ1 하위모듈라 함수 $f: \{0,1\}^n \to \{0,1,\dots,k\}$는 의사-불리안 DNF로 압축 표현이 가능한가?
• RQ2 상수의 범위가 제한된 의사-불리안 $k$-DNF에 대해 일반화된 스위칭 렘마가 성립하는가?
• RQ3 맨서 학습 프레임워크는 의사-불리안 $k$-DNF로 확장되어 효율적 PAC 학습을 가능하게 하는가?
• RQ4 균일 분포 하에서 하위모듈라 함수의 학습에 대한 쿼리 복잡도는 얼마인가?
• RQ5 새로운 표현과 학습 프레임워크를 사용하여 하위모듈라성은 효율적으로 테스트할 수 있는가?

주요 결과

• 모든 하위모듈라 함수 $f: \{0,1\}^n \to \{0,1,\dots,k\}$는 상수의 범위가 $\{0,\dots,k\}$인 의사-불리안 $2k$-DNF 표현을 가짐을 보였다.
• 일반화된 스위칭 렘마는 의사-불리안 $k$-DNF의 고차수 푸리에 계수의 $L_2$-노름과 저차수 계수의 $L_1$-노름을 제어한다.
• $\text{DNF}^{k,r}$에 속하는 모든 함수는 $M = k^{O(k\log(r/\epsilon))}$인 희소 함수로 $\epsilon$-근사가 가능하다.
• 균일 분포 하에서 하위모듈라 함수에 대한 PAC 학습 알고리즘이 $n$, $k^{O(k\log k/\epsilon)}$, $1/\epsilon$, $\log(1/\delta)$에 대해 다항 시간 내에 수행된다.
• 희소 근사치와 값 반올림을 통해 하위모듈라 함수에 대한 일반화된 학습이 가능하다.
• $k = O((\log n / \log\log n)^{1/2})$ 이고 $\epsilon$ 가 상수일 때, 하위모듈라성 테스트 알고리즘이 $n$에 대해 다항 복잡도로 수행된다.