[논문 리뷰] From average case complexity to improper learning complexity

Amit Daniely, Nati Linial외 1명|arXiv (Cornell University)|2013. 11. 10.

Machine Learning and Algorithms참고 문헌 27인용 수 6

한 줄 요약

이 논문은 무작위 제약 만족 문제(CSP)의 평균 복잡도로 귀납적 학습의 난이도를 증명하는 새로운 기법을 제안한다. 일반화된 페이지 유형의 가정 하에 저자들은 강력한 하한을 확립하여, DNF 학습, 상수 근사 비율을 가진 반쪽 공간의 아그노스틱 학습, 그리고 ω(1)개의 반쪽 공간의 교차 학습이 부울 입자 위에서도 여전히 계산적으로 비가능하다는 것을 보여준다.

ABSTRACT

The basic problem in the PAC model of computational learning theory is to determine which hypothesis classes are efficiently learnable. There is presently a dearth of results showing hardness of learning problems. Moreover, the existing lower bounds fall short of the best known algorithms. The biggest challenge in proving complexity results is to establish hardness of {\em improper learning} (a.k.a. representation independent learning).The difficulty in proving lower bounds for improper learning is that the standard reductions from $\mathbf{NP}$-hard problems do not seem to apply in this context. There is essentially only one known approach to proving lower bounds on improper learning. It was initiated in (Kearns and Valiant 89) and relies on cryptographic assumptions. We introduce a new technique for proving hardness of improper learning, based on reductions from problems that are hard on average. We put forward a (fairly strong) generalization of Feige's assumption (Feige 02) about the complexity of refuting random constraint satisfaction problems. Combining this assumption with our new technique yields far reaching implications. In particular, 1. Learning $\mathrm{DNF}$'s is hard. 2. Agnostically learning halfspaces with a constant approximation ratio is hard. 3. Learning an intersection of $ω(1)$ halfspaces is hard.

연구 동기 및 목표

• 계산 학습 이론에서 알려진 최선의 학습 알고리즘과 증명된 하한 사이의 오랜 격차를 해소하기 위해.
• 기존의 NP-난이도 감소가 실패하는 비귀납적 학습의 난이도를 증명하는 데 도전하기 위해.
• 암호학적 가정에 의존하지 않는 비귀납적 학습에 대한 하한을 증명하는 새로운 방법론을 개발하기 위해.
• 무작위 3-SAT 반박에 대한 페이지의 가정을 더 넓은 범주로 확장하여 더 강력한 복잡도 결과를 도출하기 위해.
• 이 새로운 기법의 강력함을 입증하기 위해 DNF와 반쪽 공간의 교차 학습과 같은 기본 학습 문제에 대한 비가능성을 증명하기 위해.

제안 방법

• 일정한 문장 P와 제약 비율 C > 0을 가진 무작위 CSP의 반박이 평균적으로 어렵다는 일반화된 페이지 유형의 가정을 제안한다.
• 실현 가능하고 무작위로 비실현 가능한 샘플을 구분하는 난이도와 비귀납적 학습의 비가능성 사이의 연결을 위한 감소 프레임워크를 도입한다.
• 만약 NP-난이도 문제들이 무작위 CSP의 반박으로 감소한다면 다항시간 계층이 붕괴된다는 것을 통계적 0 지식 증명(SZKP) 프레임워크를 통해 보여준다.
• 일반화된 페이지 가정 하에 DNF와 반쪽 공간의 교차 학습과 같은 학습 문제들이 반박 문제로부터의 감소를 통해 난이도가 있음을 입증한다.
• 회로 내의 엔트로피와 무작위성에 관한 기존 결과를 활용하여 학습 인스턴스의 정보 이론적 복잡도를 한계화한다.
• 감소를 적용하여, 언어 L이 고가치와 무작위 CSP 인스턴스를 구분하는 데로 감소한다면, L은 통계적 0 지식 증명을 가진다.

실험 결과

연구 질문

• RQ1 암호학적 가정에 의존하지 않고 비귀납적 학습의 난이도를 증명할 수 있는가?
• RQ2 무작위 CSP의 평균 복잡도 난이도가 학습의 비가능성으로 이어지는가?
• RQ3 페이지의 3-SAT에 대한 가정을 더 넓은 범위의 자연스러운 학습 문제에 대해 일반화하여 더 강력한 하한을 도출할 수 있는가?
• RQ4 무작위 CSP 반박으로의 감소가 다항시간 계층의 붕괴를 초래하는가?
• RQ5 이 새로운 기법이 DNF와 반쪽 공간의 교차 학습과 같은 기본 학습 문제에 대한 비가능성을 입증할 수 있는가?

주요 결과

• 일반화된 페이지 유형의 가정 하에, DNF 학습은 비귀납적 학습조차도 계산적으로 불가능하다.
• 상수 근사 비율을 가진 반쪽 공간의 아그노스틱 학습은 부울 입자 위에서도 여전히 어렵다.
• ω(1)개의 반쪽 공간의 교차 학습은 동일한 가정 하에 비가능하다.
• 이 기법은 만약 NP-난이도 문제들이 C > 0개의 제약을 가진 무작위 CSP의 반박으로 감소한다면 다항시간 계층이 붕괴된다는 것을 입증한다.
• 이 방법은 암호학적 가정에 의존하지 않는 새로운 길을 제시하여 자연스러운 학습 문제에 적용 가능하다.
• 결과적으로 알려진 알고리즘과 하한 사이의 격차가 타당한 평균 복잡도 가정 하에 본질적인 것으로 보인다.