[논문 리뷰] Improved Approximation of Linear Threshold Functions

Ilias Diakonikolas, Rocco A. Servedio|ArXiv.org|2009. 10. 19.

Complexity and Algorithms in Graphs참고 문헌 39인용 수 22

한 줄 요약

이 논문은 선형 임계 함수의 근사에 있어 두 가지 주요 발전을 제시한다: (1) 임의의 n변수 임계 함수는 Inf(f)² · poly(1/ǫ)개 변수에 의존하는 젭타(junta)에 의해 ǫ-근사될 수 있음을 증명하며, 이는 임계 함수에 대해 프리드거트의 정리보다 지수적으로 향상된 결과이다. (2) 이러한 함수들은 정수 가중치가 poly(n) · 2~O(1/ǫ²/³) 이내로 제한된 방식으로 ǫ-근사될 수 있음을 보이며, 이는 새로운 반집중 기법을 통해 이전의 경계를 크게 향상시킨다.

ABSTRACT

We prove two main results on how arbitrary linear threshold functions $f(x) = \sign(w\cdot x - θ)$ over the $n$-dimensional Boolean hypercube can be approximated by simple threshold functions. Our first result shows that every $n$-variable threshold function $f$ is $\eps$-close to a threshold function depending only on $\Inf(f)^2 \cdot \poly(1/\eps)$ many variables, where $\Inf(f)$ denotes the total influence or average sensitivity of $f.$ This is an exponential sharpening of Friedgut's well-known theorem \cite{Friedgut:98}, which states that every Boolean function $f$ is $\eps$-close to a function depending only on $2^{O(\Inf(f)/\eps)}$ many variables, for the case of threshold functions. We complement this upper bound by showing that $Ω(\Inf(f)^2 + 1/ε^2)$ many variables are required for $ε$-approximating threshold functions. Our second result is a proof that every $n$-variable threshold function is $\eps$-close to a threshold function with integer weights at most $\poly(n) \cdot 2^{ ilde{O}(1/\eps^{2/3})}.$ This is a significant improvement, in the dependence on the error parameter $\eps$, on an earlier result of \cite{Servedio:07cc} which gave a $\poly(n) \cdot 2^{ ilde{O}(1/\eps^{2})}$ bound. Our improvement is obtained via a new proof technique that uses strong anti-concentration bounds from probability theory. The new technique also gives a simple and modular proof of the original \cite{Servedio:07cc} result, and extends to give low-weight approximators for threshold functions under a range of probability distributions beyond just the uniform distribution.

연구 동기 및 목표

• 임계 함수를 ǫ-근사하기 위해 필요한 변수 수에 대한 알려진 상한과 하한 사이의 격차를 좁히기.
• 임계 함수의 정수 가중치 근사에서 오차 매개변수 ǫ에 대한 의존도를 향상시키기.
• 기존 결과를 일반화하고 단순화하는 강력한 반집중 경계 기반의 새로운 증명 기법 개발.
• 균일 분포를 초월해 일정한 편향이 있는 제품 분포 및 K-독립 분포에까지 낮은 무게 근사기의 적용 범위 확장하기.

제안 방법

• 저자들은 [OS08]의 임계 함수의 푸리에 분석을 기반으로 하여 낮은 영향력 근사기들을 구성한다.
• 브럭과 스몰렌스키의 랜덤화 다항식 임계 함수 방법을 영감으로 삼은 확률적 구성 기법을 사용한다.
• 정수 가중치를 가진 선형 형식의 尾행동을 제어하기 위해 확률 이론에서 유도된 강력한 반집중 경계를 적용한다.
• 헤프딩의 부등식 대신 체비셰프 또는 [BR94]의 꼬리 경계를 적용하여 비균일 분포에서도 작동하도록 방법을 일반화한다.
• ǫ-임계 지수를 사용해 작은 가중치를 잘라내고 다양한 분포 하에서 근사 오차를 제한한다.
• 레마 29를 활용해 임계 지수와 제어된 오차를 갖는 낮은 무게 근사기 존재성 간의 연결 고리를 설정한다.

실험 결과

연구 질문

• RQ1 프리드거트의 정리에서 제시된 2^O(Inf(f)/ǫ)의 변수 수를 Inf(f)에 대한 다항식 의존도로 줄일 수 있는가?
• RQ2 임계 함수의 정수 가중치 근사에서 ǫ에 대한 최적의 의존도는 무엇인가?
• RQ3 균일 분포에 대해 사용된 증명 기법을 일정한 편향이 있는 제품 분포나 K-독립 분포로 확장할 수 있는가?
• RQ4 더 넓은 범주에 속하는 분포에서 ǫ-근사에 대해 poly(n) · 2~O(1/ǫ²/³)의 무게 경계를 달성할 수 있는가?

주요 결과

• 모든 n변수 임계 함수는 Inf(f)² · poly(1/ǫ)개 변수에 의존하는 젭타에 의해 ǫ-근사될 수 있으며, 이는 임계 함수에 대해 프리드거트의 2^O(Inf(f)/ǫ) 경계보다 지수적으로 향상된 결과이다.
• Inf(f)² · poly(1/ǫ) 경계는 거의 최적이다. ǫ-근사를 위해 Ω(Inf(f)² + 1/ǫ²)개의 변수가 필요하기 때문이다.
• 모든 n변수 임계 함수는 크기가 최대 poly(n) · 2~O(1/ǫ²/³)인 정수 가중치를 사용해 ǫ-근사될 수 있으며, 이는 이전의 poly(n) · 2~O(1/ǫ²) 경계를 개선한 것이다.
• 새로운 반집중 기반 증명 기법은 원래 [Ser07] 결과를 모듈러하고 단순화된 방식으로 유도한다.
• 이 방법은 일정한 편향이 있는 제품 분포 및 K-독립 분포로 일반화되어, 이러한 측도 하에서도 동일한 2~O(1/ǫ²/³) 무게 경계를 얻는다.
• 하한 결과는 특정 분포 하에서 1/(n+2)-근사에 대해 2Ω(n)개의 가중치가 필요하다는 것을 보여주며, 이는 일반적으로 2~O(1/ǫ²/³) 경계를 poly(n) · 2polylog(1/ǫ)로 향상시킬 수 없다는 것을 시사한다.