[논문 리뷰] Cryptographic Hardness of Learning Halfspaces with Massart Noise

Ilias Diakonikolas, Daniel M. Kane외 2명|arXiv (Cornell University)|2022. 07. 28.

Machine Learning and Algorithms인용 수 5

한 줄 요약

이 논문은 LWE 문제의 하위지수 시간 난이도 하에, Massart 노이즈 하에서 반공간의 PAC 학습에 대한 첫 번째 계산적 난이도 결과를 확립한다. 이는 최적 오차 OPT가 지수적으로 작은 경우, 어떤 다항시간 알고리즘도 Ω(η)보다 나은 오차를 달성할 수 없음을 보여준다. 이 결과는 Massart 반공간에 대해 알려진 효율적 알고리즘이 오차 보장 측면에서 거의 최적임을 시사한다.

ABSTRACT

We study the complexity of PAC learning halfspaces in the presence of Massart noise. In this problem, we are given i.i.d. labeled examples $(\mathbf{x}, y) \in \mathbb{R}^N imes \{ \pm 1\}$, where the distribution of $\mathbf{x}$ is arbitrary and the label $y$ is a Massart corruption of $f(\mathbf{x})$, for an unknown halfspace $f: \mathbb{R}^N o \{ \pm 1\}$, with flipping probability $η(\mathbf{x}) \leq η< 1/2$. The goal of the learner is to compute a hypothesis with small 0-1 error. Our main result is the first computational hardness result for this learning problem. Specifically, assuming the (widely believed) subexponential-time hardness of the Learning with Errors (LWE) problem, we show that no polynomial-time Massart halfspace learner can achieve error better than $Ω(η)$, even if the optimal 0-1 error is small, namely $\mathrm{OPT} = 2^{-\log^{c} (N)}$ for any universal constant $c \in (0, 1)$. Prior work had provided qualitatively similar evidence of hardness in the Statistical Query model. Our computational hardness result essentially resolves the polynomial PAC learnability of Massart halfspaces, by showing that known efficient learning algorithms for the problem are nearly best possible.

연구 동기 및 목표

• 기계학습 이론에서 오랫동안 미해결된 문제인 Massart 노이즈 하에서 반공간의 학습 계산 복잡도를 해결하는 것.
• 노이즈 비율 η가 1/2에서 멀리 떨어져 있지만 최적 오차 OPT가 지수적으로 작은 경우, 반공간 학습에 대한 계산적 난이도 장벽을 설정하는 것.
• 기존에 효율적인 알고리즘이 오차 ≈η를 달성할 수 있음을 증명함으로써, Ω(η)를 초월해 오차를 향상시키는 것이 표준 암호학적 가정 하에 계산적으로 불가능하다는 것을 보여, 이 알고리즘이 거의 최적임을 입증하는 것.
• 특히 선형 임계 함수에 대해 Massart 노이즈 모델에서 통계적 학습 복잡도와 계산적 학습 복잡도 간 격차를 메우는 것.

제안 방법

• 학습의 계산적 난이도를 LWE 문제의 하위지수 시간 난이도로 감소시키는 것.
• 진정한 반공간의 최적 오차가 지수적으로 작은 분포를 구성함으로써, 모든 효율적 학습자가 오차 Ω(η)를 지닌다는 것을 보장하는 것.
• 저차수 다항식 임계 함수(Polynomial Threshold Functions, PTFs)를 선형 임계 함수(Learning with Errors, LTFs)로 변환하는 Veronese 매핑을 사용하여 노이즈 구조를 유지하는 것.
• Null 및 대립 가설을 모두 시뮬레이션할 수 있도록 신중하게 설계된 LWE 기반 분포를 활용하여 계산 감소를 가능하게 하는 것.
• 농도 경계(Hoeffding의 부등식)를 적용하여 구성된 분포가 노이즈 비율이 유한한 유효한 Massart 분포와 통계적으로 가까운지 보여주는 것.
• 분포 간의 총 변동 거리(total variation distance)를 활용하여, 어떤 효율적 학습자도 어려운 인스턴스와 유리한 인스턴스를 비중미분의 우월한 확률으로 구분할 수 없음을 보장하는 것.

실험 결과

연구 질문

• RQ1 최적 오차 OPT가 지수적으로 작은 경우, 효율적인 PAC 학습 알고리즘이 Massart 노이즈 하에서 η보다 훨씬 나은 오차를 달성할 수 있는가?
• RQ2 정보 이론적 최적치에 가까운 오차를 달성하는 데 있어 다항시간 학습자가 계산적으로 장벽에 부딪힐 수 있는가?
• RQ3 LWE 문제의 하위지수 시간 난이도가 Massart 노이즈 하에서 반공간 학습에 대해 계산적으로 비가능성을 암시하는가?
• RQ4 오차 ≈η를 달성하는 알려진 다항시간 알고리즘이 Massart 반공간 학습 문제에서 오차 보장 측면에서 거의 최적인가?

주요 결과

• LWE 문제의 하위지수 시간 난이도 하에, Massart 반공간 학습에서 어떤 다항시간 알고리즘도 Ω(η)보다 나은 오차를 달성할 수 없다.
• 최적 0-1 오차가 어떤 유일한 상수 c ∈ (0,1)에 대해 2^{-log^c(N)}보다 작을지라도, 어떤 효율적 학습자도 Ω(η)보다 나은 오차를 달성할 수 없다.
• 계산적 난이도 결과는 알려진 효율적 알고리즘의 오차 보장과 정확히 일치하므로, 이 알고리즘이 거의 최적임을 시사한다.
• 감소 과정을 통해 η 오차를 초월해 오차를 향상시키는 것은 표준 암호학적 가정 하에 계산적으로 불가능하며, 이는 오랫동안 미해결이었던 문제를 해결한다.
• 이 결과는 반공간에 대해 Massart 노이즈 모델에서 통계적 학습 가능성과 계산적 학습 가능성 간의 강력한 분리 결과를 수립한다.
• 난이도 프레임워크는 광범위한 분포 클래스에 적용 가능하며, 효율적 학습의 오차 한계 η가 본질적으로 날카로움을 보여준다.