[논문 리뷰] Optimal Bounds on Approximation of Submodular and XOS Functions by Juntas

Vitaly Feldman, Jan Vondrák|arXiv (Cornell University)|2013. 07. 12.

Machine Learning and Algorithms참고 문헌 44인용 수 25

한 줄 요약

이 논문은 균일 분포 하에서 변수 수가 적은 함수인 절편 함수(junta)에 의한 하위모듈라 함수 및 XOS 함수의 근사화에 대해 날카러운 경계를 설정한다. [0,1] 범위의 하위모듈라 함수는 ℓ₂-노름에서 Õ(1/ε²) 크기의 절편 함수에 의해 ε-근사 가능하며, 이는 이전 작업에 비해 지수적 향상이다. 반면 XOS 함수는 2^{O(1/ε²)}개의 변수를 필요로 하며, 이는 프리드기트의 정리의 실수 값 일반화와 일치한다.

ABSTRACT

We investigate the approximability of several classes of real-valued functions by functions of a small number of variables ({\em juntas}). Our main results are tight bounds on the number of variables required to approximate a function $f:\{0,1\}^n ightarrow [0,1]$ within $\ell_2$-error $ε$ over the uniform distribution: 1. If $f$ is submodular, then it is $ε$-close to a function of $O(\frac{1}{ε^2} \log \frac{1}ε)$ variables. This is an exponential improvement over previously known results. We note that $Ω(\frac{1}{ε^2})$ variables are necessary even for linear functions. 2. If $f$ is fractionally subadditive (XOS) it is $ε$-close to a function of $2^{O(1/ε^2)}$ variables. This result holds for all functions with low total $\ell_1$-influence and is a real-valued analogue of Friedgut's theorem for boolean functions. We show that $2^{Ω(1/ε)}$ variables are necessary even for XOS functions. As applications of these results, we provide learning algorithms over the uniform distribution. For XOS functions, we give a PAC learning algorithm that runs in time $2^{poly(1/ε)} poly(n)$. For submodular functions we give an algorithm in the more demanding PMAC learning model (Balcan and Harvey, 2011) which requires a multiplicative $1+γ$ factor approximation with probability at least $1-ε$ over the target distribution. Our uniform distribution algorithm runs in time $2^{poly(1/(γε))} poly(n)$. This is the first algorithm in the PMAC model that over the uniform distribution can achieve a constant approximation factor arbitrarily close to 1 for all submodular functions. As follows from the lower bounds in (Feldman et al., 2013) both of these algorithms are close to optimal. We also give applications for proper learning, testing and agnostic learning with value queries of these classes.

연구 동기 및 목표

• 균일 분포 하에서 하위모듈라 함수의 ℓ₂-노름에서 ε-근사화를 이루는 절편 함수의 최소 크기를 규명하는 것.
• 총 ℓ₁-영향이 낮은 클래스를 특성화함으로써 불리안 함수에 대한 프리드기트의 정리를 실수 값 함수로 일반화하는 것.
• XOS 함수에 대한 절편 함수 근사화에 대해 최적 경계를 확립하고 이 경계의 날카러움을 증명하는 것.
• 절편 함수 근사화 결과를 핵심 구성 요소로 사용하여 하위모듈라 및 XOS 함수에 대한 효율적 학습 알고리즘을 개발하는 것.
• 이 경계들이 하위모듈라 및 XOS 클래스의 적절한 학습, 테스트, 그리고 오차 학습에 미치는 영향을 탐색하는 것.

제안 방법

• 기존의 구조적 분석을 새롭게 적용하여, [0,1] 범위의 하위모듈라 함수가 O(1/ε² log(1/ε))개의 변수를 가지는 함수에 의해 ℓ₂-노름에서 ε-근접함을 증명한다.
• 임의의 함수가 상수 수준의 총 ℓ₁-영향을 가질 경우 2^{O(1/ε²)}-절편 함수에 의해 ε-근사 가능하다는 것을 보여줌으로써, 프리드기트의 정리를 실수 값 함수로 일반화한다.
• XOS 함수에 대해서조차도 2^{Ω(1/ε)}개의 변수가 필요하다는 하한을 도출하여 상한의 날카러움을 증명한다.
• 절편 함수 근사화 결과를 활용하여, 런타임이 2^{1/poly(γε)} poly(n)인 PMAC 학습 알고리즘을 설계하여 (1+γ)-근사율을 달성한다.
• 가격 질의 오라클과 희소 ℓ₁-회귀 기법을 활용하여, ℓ₁-오차를 갖는 오차 학습을 수행하며, ℓ₁-영향이 유한한 함수에 대해 적용한다.
• 측도 집중 및 영향 기반 분해 기법을 적용하여 절편 함수 근사화에서 관련 변수의 수를 제한한다.

실험 결과

연구 질문

• RQ1 균일 분포 하에서 하위모듈라 함수의 ℓ₂-노름에서 ε-근사화를 이루는 절편 함수의 최적 크기는 무엇인가?
• RQ2 총 ℓ₁-영향이 낮은 실수 값 함수에 대해 불리안 함수에 대한 프리드기트의 정리를 일반화할 수 있는가?
• RQ3 XOS 함수에 대해 2^{O(1/ε²)}-절편 함수 경계는 날카로운가? 그리고 ε-근사화에 필요한 최소 크기는 무엇인가?
• RQ4 절편 함수 근사화를 핵심 구성 요소로 사용하여 하위모듈라 및 XOS 함수에 대한 효율적 학습 알고리즘을 설계할 수 있는가?
• RQ5 이 경계들이 하위모듈라 및 XOS 클래스의 적절한 학습, 테스트, 오차 학습에 어떤 영향을 미치는가?

주요 결과

• 범위가 [0,1]인 하위모듈라 함수는 ℓ₂-노름에서 Õ(1/ε²) 크기의 절편 함수에 의해 ε-근접하며, 이는 로그 인자 외에는 최적이다.
• XOS 함수는 ℓ₂-노름에서 2^{O(1/ε²)}-절편 함수에 의해 ε-근사 가능하며, 이 경계는 지수 항의 상수 범위에서 날카로운 경계이다.
• XOS 함수에 대해서조차도 2^{Ω(1/ε)}개의 변수가 필요하다는 하한이 존재하여, 2^{O(1/ε²)} 상한이 점근적으로 날카로운 것을 증명한다.
• 이 논문은 (1+γ)-근사율을 1에 가까이 만들 수 있는 첫 번째 PMAC 학습 알고리즘을 제공하며, 런타임은 2^{1/poly(γε)} poly(n)이다.
• 오차 학습의 경우, 총 ℓ₁-영향이 a 이하인 함수는 값 질의를 사용하여 시간 복잡도가 poly(n) · 2^{O(a²/ε⁴)} 내에서 학습 가능하다는 것을 보여준다.
• 결과적으로 프리드기트의 정리를 실수 값 함수로 일반화하여, 낮은 영향도를 가진 함수는 크기가 2^{O(1/ε²)}인 절편 함수에 의해 근사 가능하다는 것을 증명한다.