[논문 리뷰] Degree-$d$ Chow Parameters Robustly Determine Degree-$d$ PTFs (and Algorithmic Applications)

Ilias Diakonikolas, Daniel M. Kane|arXiv (Cornell University)|2018. 11. 07.

Complexity and Algorithms in Graphs참고 문헌 66인용 수 4

한 줄 요약

이 논문은 차수-$d$ 초파라미터와 차수-$d$ PTF의 $\ell_1$-거리 사이에 차원에 의존하지 않는 강건한 관계를 수립하며, 초파라미터의 $\ell_2$-노름 차이가 작을 경우 함수 간의 $\ell_1$-거리도 작아짐을 증명한다. 이는 노이즈 또는 근사적인 매개변수로부터 차수-$d$ PTF를 근사하고 학습하는 데 있어 효율적이고 차원에 의존하지 않는 알고리즘을 가능하게 한다.

ABSTRACT

The degree-$d$ Chow parameters of a Boolean function $f: \{-1,1\}^n o \mathbb{R}$ are its degree at most $d$ Fourier coefficients. It is well-known that degree-$d$ Chow parameters uniquely characterize degree-$d$ polynomial threshold functions (PTFs) within the space of all bounded functions. In this paper, we prove a robust version of this theorem: For $f$ any Boolean degree-$d$ PTF and $g$ any bounded function, if the degree-$d$ Chow parameters of $f$ are close to the degree-$d$ Chow parameters of $g$ in $\ell_2$-norm, then $f$ is close to $g$ in $\ell_1$-distance. Notably, our bound relating the two distances is completely independent of the dimension $n$. That is, we show that Boolean degree-$d$ PTFs are {\em robustly identifiable} from their degree-$d$ Chow parameters. Results of this form had been shown for the $d=1$ case~\cite{OS11:chow, DeDFS14}, but no non-trivial bound was previously known for $d >1$. Our robust identifiability result gives the following algorithmic applications: First, we show that Boolean degree-$d$ PTFs can be efficiently approximately reconstructed from approximations to their degree-$d$ Chow parameters. This immediately implies that degree-$d$ PTFs are efficiently learnable in the uniform distribution $d$-RFA model~\cite{BenDavidDichterman:98}. As a byproduct of our approach, we also obtain the first low integer-weight approximations of degree-$d$ PTFs, for $d>1$. As our second application, our robust identifiability result gives the first efficient algorithm, with dimension-independent error guarantees, for malicious learning of Boolean degree-$d$ PTFs under the uniform distribution.

연구 동기 및 목표

• 차수-$d$ PTF를 그 차수-$d$ 초파라미터로부터 강건하고 차원에 의존하지 않는 식별을 수립하기 위해.
• 차수 $d > 1$에 대해 차수-$d$ 초파라미터가 강건하게 차수-$d$ PTF를 결정하는지 여부라는 열린 문제를 해결하기 위해, 이전에 $d=1$에 대해서만 알려진 결과를 확장하기 위해.
• 균일 분포 하에서 및 악성 노이즈 존재 상황에서 차수-$d$ PTF의 재구성과 학습을 위한 효율적 알고리즘을 개발하기 위해.
• 차수 $d > 1$에 대해 첫 번째 낮은 정수 가중치 근사값을 제공하기 위해.
• 많은 수의 근처 제로를 가진 저차수 다항식의 기하학적 구조에 대한 구조적 결과를 수립하기 위해, 이 경우에 힐베르트 기저 정리의 일반화를 위해.

제안 방법

• 차수-$d$ 초파라미터의 강건한 형태인 차수-$d$ 초파라미터 정리 증명: 부울 값의 차수-$d$ PTF $f$와 유계 함수 $g$ 사이의 차수-$d$ 초파라미터의 $\ell_2$-노름 차이가 작을 경우, $f$와 $g$ 사이의 $\ell_1$-거리도 작아짐을 보임.
• 구조적 결과 도입: 초구면 상의 많은 점들에서 0에 가까운 차수-$d$ 다항식이 존재할 경우, 거의 모든 점들을 정확히 통과하는 차수-$d$ 초표면이 존재함을 보임.
• 이 구조적 결과를 활용하여, $f$와 $g$의 불일치 영역에서 많은 차수-$d$ 다항식이 0이 되며, 이는 그들의 $\ell_1$-거리가 작아지게 함을 증명함.
• 차수 $d=2$의 경우, 많은 공통 제로를 가진 차수-2 다항식의 큰 벡터 공간은 거의 모든 점들에서 0이 되는 선형 함수를 포함함을 증명함.
• 이 선형 소멸 결과를 고차수 $d$로 일반화하여, 초구면 상의 저차수 다항식에 대해 힐베르트 기저 정리의 효과적 형태를 확장함.
• 강건한 식별 가능성 결과를 적용하여, 균일 분포 하의 $d$-RFA 모델 및 악성 노이즈 상황에서 효율적인 학습 및 재구성 알고리즘 설계

실험 결과

연구 질문

• RQ1 입력 차원 $n$에 독립적인 오차 한계를 갖는 $\ell_1$-노름에서 차수-$d$ 초파라미터가 차수-$d$ PTF를 강건하게 결정할 수 있는가?
• RQ2 저차수 다항식이 초구면의 많은 점들에서 0에 가까워질 경우, 어떤 구조적 성질을 보이는가?
• RQ3 강건한 식별 가능성 결과를 활용하여 노이즈 또는 손상된 데이터 상황에서도 효율적인 학습 알고리즘을 설계할 수 있는가?
• RQ4 차수-$d$ PTF에 대해 $\ell_2$-초파라미터 거리와 $\ell_1$-거리 사이의 가장 날카로운 정량적 관계는 무엇인가?
• RQ5 이 강건한 프레임워크를 사용하여 $d > 1$에 대해 저차수 PTF의 낮은 정수 가중치 근사값을 구성할 수 있는가?

주요 결과

• 논문은 강건하고 차원에 의존하지 않는 경계를 수립한다: 부울 값의 차수-$d$ PTF $f$와 유계 함수 $g$ 사이의 차수-$d$ 초파라미터의 $\ell_2$-노름 차이가 $\epsilon$ 이하일 경우, $f$와 $g$ 사이의 $\ell_1$-거리가 $\kappa(\epsilon,d)$ 이하가 되며, 여기서 $\kappa$는 $n$에 독립적이다.
• 이 강건한 식별 가능성 결과는 근사적인 차수-$d$ 초파라미터로부터 차수-$d$ PTF를 재구성하는 데 있어 첫 번째 효율적 알고리즘을 가능하게 하며, 이에 대한 오차 보장은 차원에 의존하지 않는다.
• 논문은 $d > 1$에 대해 차수-$d$ PTF의 첫 번째 낮은 정수 가중치 근사값을 구성함으로써 오랫동안 열려 있던 문제를 해결한다.
• 강건한 식별 가능성 결과는 균일 분포 하에서 악성(나쁜) 노이즈 상황에서의 차수-$d$ PTF 학습을 위한 첫 번째 효율적 알고리즘을 이끌어내며, 차원에 독립적인 오차 보장을 제공한다.
• 많은 수의 근처 제로를 가진 다항식에 대한 구조적 결과—거의 모든 이러한 점들을 정확히 통과하는 차수-$d$ 초표면의 존재를 보여주는)—은 핵심 기술적 요소를 형성하며, 이 경우에 힐베르트 기저 정리를 일반화한다.
• 이 결과는 $d > 1$에 대해 차수-$d$ 초파라미터가 강건하게 차수-$d$ PTF를 결정하는지 여부라는 열린 문제를 해결하며, 이는 $d=1$에 대해서만 알려져 있던 이전 결과와는 대비된다.