[논문 리뷰] Complexity Theoretic Limitations on Learning Halfspaces

Amit Daniely|arXiv (Cornell University)|2015. 05. 21.

Machine Learning and Algorithms참고 문헌 41인용 수 5

한 줄 요약

이 논문은 랜덤 $K$-XOR 공식을 반박하는 것이 어렵다는 가정 하에, 반반한 절반공간을 학습하는 데 있어 강력한 계산적 난이도 결과를 확립한다. 이는 최적의 반반한 절반공간 오차가 임의로 작은 경우조차도, 비록 그 오차가 매우 작더라도 어떤 효율적인 알고리즘도 비트리비얼 근사 비율을 달성할 수 없음을 증명하며, 정확한 학습을 초월한 반반한 절반공간의 안타고스틱 학습에서 근본적인 장벽을 드러낸다.

ABSTRACT

We study the problem of agnostically learning halfspaces which is defined by a fixed but unknown distribution $\mathcal{D}$ on $\mathbb{Q}^n imes \{\pm 1\}$. We define $\mathrm{Err}_{\mathrm{HALF}}(\mathcal{D})$ as the least error of a halfspace classifier for $\mathcal{D}$. A learner who can access $\mathcal{D}$ has to return a hypothesis whose error is small compared to $\mathrm{Err}_{\mathrm{HALF}}(\mathcal{D})$. Using the recently developed method of the author, Linial and Shalev-Shwartz we prove hardness of learning results under a natural assumption on the complexity of refuting random $K$-$\mathrm{XOR}$ formulas. We show that no efficient learning algorithm has non-trivial worst-case performance even under the guarantees that $\mathrm{Err}_{\mathrm{HALF}}(\mathcal{D}) \le η$ for arbitrarily small constant $η>0$, and that $\mathcal{D}$ is supported in $\{\pm 1\}^n imes \{\pm 1\}$. Namely, even under these favorable conditions its error must be $\ge \frac{1}{2}-\frac{1}{n^c}$ for every $c>0$. In particular, no efficient algorithm can achieve a constant approximation ratio. Under a stronger version of the assumption (where $K$ can be poly-logarithmic in $n$), we can take $η= 2^{-\log^{1-ν}(n)}$ for arbitrarily small $ν>0$. Interestingly, this is even stronger than the best known lower bounds (Arora et. al. 1993, Feldamn et. al. 2006, Guruswami and Raghavendra 2006) for the case that the learner is restricted to return a halfspace classifier (i.e. proper learning).

연구 동기 및 목표

• 안타고스틱 설정에서 반반한 절반공간 학습에 대한 강력한 계산 복잡도 한계를 설정하는 것.
• 학습 알고리즘에 대한 알려진 상한과 기존 하한 사이의 격차를 메우는 것.
• 최적 오차가 매우 작을 조건에서도 어떤 효율적인 알고리즘도 일정한 근사 비율을 달성할 수 없음을 보여주는 것.
• 정확한 학습을 초월한 양적 제약을 입증함으로써 이전의 난이도 결과를 확장하는 것.

제안 방법

• Daniely 등 (2015)이 최근 개발한 프레임워크를 사용하여, 학습 난이도를 랜덤 $K$-XOR 공식의 반박 난이도로 환원한다.
• 랜덤 $K$-XOR 공식의 의사난수 성질을 활용하여, 저차수 다항근사에 대해 그 할당이 균일 분포와 구별 불가능함을 보인다.
• 다항근사 기법을 적용하여, 랜덤 제약 조건에서 XOR 함수를 근사하는 어떤 가설도 높은 차수를 가져야 함을 보여주며, 이는 계산적으로 해결 불가능함을 의미한다.
• $K$-XOR 문제를 다수의 $q$-XOR 문제로 환원하여 완전성의 강화와 난이도 가정의 강화를 도모한다.
• 반반한 절반공간 표현 가능성을 유지하면서 $\{-1,1,0\}^n$ 에서 $\{\pm 1\}^n$ 으로 난이도 결과를 이전하는 데에 $\Psi$ 라는 리프팅 사상( lifting map )을 사용한다.
• 분포적 추론을 통해, 저차수 다항근사가 의사난수 인스턴스에서 XOR 함수를 근사할 수 있다면, 균일 입력에서도 마찬가지로 근사할 수 있음을 보이고, 차수가 너무 낮을 경우 이는 모순을 야기함을 보인다.

실험 결과

연구 질문

• RQ1 낮은 오차 가정 하에 효율적인 학습 알고리즘이 반반한 절반공간을 안타고스틱하게 학습할 때 일정한 근사 비율을 달성할 수 있는가?
• RQ2 최적의 반반한 절반공간 오차가 임의로 작을 경우조차도, 비트리비얼 근사가 불가능한 계산적 장벽이 존재하는가?
• RQ3 랜덤 $K$-XOR 공식의 반박 난이도를 이용하여 반반한 절반공간 학습에 대해 강력한 난이도 결과를 도출할 수 있는가?
• RQ4 $K$-XOR의 반박 난이도 가정이 기존 결과보다 더 강력한 난이도를 정확한 학습 알고리즘에 대해 유도하는가?
• RQ5 이 난이도 결과는 $\{-1,1,0\}^n$ 이 아니라 $\{\pm 1\}^n \times \{\pm 1\}$ 에 지지된 분포로도 확장 가능한가?

주요 결과

• 모든 효율적인 알고리즘이 $\frac{1}{2} - \frac{1}{n^c}$ 보다 작은 오차를 달성할 수 없으며, 이는 최적의 반반한 절반공간 오차 $\operatorname{Err}_{\mathrm{HALF}}({\cal D}) \leq \eta$ 가 임의로 작은 상수 $\eta > 0$ 인 경우에도 성립한다.
• 모든 $K$-XOR 공식의 반박 난이도가 $n$ 의 다중로그함수인 $K$ 에 대해 어렵다는 가정 하에, 논문은 임의의 작은 $\nu > 0$ 에 대해 $2^{\log^{1-\nu}(n)}$ 의 요인까지의 근사 난이도를 보여준다.
• 결과적으로, 최적 오차가 매우 작더라도 어떤 효율적인 학습 알고리즘도 일정한 근사 비율을 달성할 수 없음을 규명한다.
• 이 난이도 결과는 가설이 반드시 반반한 절반공간일 필요가 없는 비정확한 학습(Improper learning)의 경우에도 성립하므로, 정확한 학습을 초월한 근본적인 장벽을 보여준다.
• 이 프레임워크는 $\{\pm 1\}^n \times \{\pm 1\}$ 에 지지된 분포로도 확장 가능하여, 이전 결과에서 요구하던 $\{-1,1,0\}^n$ 을 초월해 결과를 강화한다.
• 이 작업은 이전 연구들이 정확한 학습(근사 비율 1)만 금지하는 데에 그쳤던 것과는 달리, 정량적으로 강력한 난이도를 보여줌으로써 기존 결과를 향상시킨다.