[논문 리뷰] Hardness of Noise-Free Learning for Two-Hidden-Layer Neural Networks

Sitan Chen, Aravind Gollakota외 2명|arXiv (Cornell University)|2022. 02. 10.

Machine Learning and Algorithms인용 수 6

한 줄 요약

이 논문은 노이즈가 없는 설정에서 표준 정규 분포 입력에 대해 두 은닉층을 가진 ReLU 신경망을 학습하는 데 있어, 처음으로 조건부가 아닌 초다항식 통계적 질의(SQ) 하한을 확립한다. 다니엘리와 바르디의 리프팅 기법을 정교화함으로써 저자들은 Vempala와 Wilmes가 제기한 기존의 장벽을 극복하고, 이 얕은 아키텍처에 대해서조차 효율적인 SQ 학습이 불가능함을 증명하며, 동시에 Learning with Rounding(LWR) 가정 하에 암호학적 난이도 결과도 도출한다.

ABSTRACT

We give superpolynomial statistical query (SQ) lower bounds for learning two-hidden-layer ReLU networks with respect to Gaussian inputs in the standard (noise-free) model. No general SQ lower bounds were known for learning ReLU networks of any depth in this setting: previous SQ lower bounds held only for adversarial noise models (agnostic learning) or restricted models such as correlational SQ. Prior work hinted at the impossibility of our result: Vempala and Wilmes showed that general SQ lower bounds cannot apply to any real-valued family of functions that satisfies a simple non-degeneracy condition. To circumvent their result, we refine a lifting procedure due to Daniely and Vardi that reduces Boolean PAC learning problems to Gaussian ones. We show how to extend their technique to other learning models and, in many well-studied cases, obtain a more efficient reduction. As such, we also prove new cryptographic hardness results for PAC learning two-hidden-layer ReLU networks, as well as new lower bounds for learning constant-depth ReLU networks from label queries.

연구 동기 및 목표

• 기존의 한층 은닉층을 가진 네트워크에 대한 알려진 난이도 결과와 노이즈가 없는 설정에서 두 은닉층을 가진 네트워크가 학습 가능한지 여부에 대한 열린 문제 사이의 격차를 메우기 위해.
• Vempala와 Wilmes가 보여준 바와 같이, 실수값이며 비퇴화된 신경망 가족에는 일반적인 SQ 하한이 적용될 수 없다는 기존의 장벽을 극복하기 위해.
• 다항식 크기의 가중치를 가진 두 은닉층 ReLU 네트워크 학습에 대해 조건부가 아닌 SQ 하한과 암호학적 난이도 결과를 동시에 확립하기 위해.
• Daniely-Vardi 리프팅 프레임워크의 적용 범위를 전체 SQ 학습 및 레이블 질의 모델로 확장하기 위해.
• 기본 암호학적 가정 하에, 조건부가 아닌 깊이가 일정한 ReLU 네트워크도 레이블 질의로부터 학습하기가 어렵다는 것을 보여주기 위해.

제안 방법

• 다니엘리-바르디의 리프팅 절차를 정교화하여 부울 PAC 학습 문제를 정규 분포 문제로 감소시킴으로써 일반적인 SQ 하한을 가능하게 하였다.
• 부울 함수의 구조를 유지하면서 ReLU 네트워크를 사용해 정규 공간에 임bedding하는 리프팅 맵을 구축하였다.
• 리프팅된 함수를 사용해 정규 설정에서의 SQ 질의와 레이블 질의를 시뮬레이션하였으며, 원래의 부울 문제의 난이도를 유지하였다.
• TC⁰ 및 ACC⁰ 내에서 알려진 가짜난수함수(PRF) 구조를 활용하여 더 깊은 ReLU 네트워크에 대한 암호학적 난이도를 도출하였다.
• 어떤 효율적인 레이블 질의 학습자라도 PRF를 해독할 수 있음을 증명함으로써, 표준 가정 하에 불가능성을 입증하였다.
• 모든 SQ 알고리즘이 초다항식 질의를 요구하거나 허용 오차를 근사적으로 무시할 수밖에 없음을 보임으로써, 어떤 암호학적 가정에도 의존하지 않는 조건부가 아닌 SQ 하한을 확립하였다.

실험 결과

연구 질문

• RQ1 이전 연구들이 이러한 하한이 불가능하다고 시사했음에도 불구하고, 노이즈가 없는 정규 분포 입력 설정에서 두 은닉층 ReLU 네트워크 학습에 대해 초다항식 SQ 하한을 증명할 수 있는가?
• RQ2 다니엘리와 바르디의 리프팅 기법이 상관관계 기반 SQ를 넘어서 전체 통계적 질의 모델로도 확장 가능한가?
• RQ3 Learning with Rounding(LWR)와 같은 표준 가정 하에 ReLU 네트워크 학습에 대한 암호학적 난이도 결과를 확립할 수 있는가?
• RQ4 가짜난수함수 구조를 사용해 깊이가 일정한 ReLU 네트워크의 레이블 질의 학습 난이도를 증명할 수 있는가?
• RQ5 Vempala와 Wilmes가 지적한 비퇴화성 장벽을 극복하여 실수값 신경망에 대한 일반적인 SQ 하한을 증명할 수 있는가?

주요 결과

• 논문은 표준 정규 분포 위에서 두 은닉층 ReLU 네트워크 학습에 대해 처음으로 조건부가 아닌 초다항식 SQ 하한을 확립하였다.
• 다항식 크기의 두 은닉층 ReLU 네트워크를 제곱오차 1/poly(d) 이내로 학습하기 위한 모든 SQ 알고리즘은 최소 d^ω(1)개의 질의를 요구하거나, 허용 오차를 무시할 수밖에 없다.
• 암호학적 가정에 의존하지 않고도 SQ 하한이 조건부가 아닌 것으로 보장되며, 이는 노이즈가 없는 설정에서 이러한 하한이 불가능하다는 통념을 반박한다.
• Learning with Rounding(LWR) 가정 하에 암호학적 난이도를 확립하였으며, 두 은닉층 ReLU 네트워크 학습이 LWR를 해독하는 것과 동일한 난이도임을 보여준다.
• 깊이 6의 네트워크는 DDH 가정 하에, 깊이 O(1)의 네트워크는 LWE 가정 하에 레이블 질의를 통한 학습이 어렵다는 것이 입증되었다.
• 저자들은 Daniely-Vardi 리프팅 프레임워크를 전체 SQ 및 레이블 질의 모델을 지원하도록 확장하여, 부울 학습 문제에서 정규 학습 문제로의 새로운 감소를 가능하게 하였다.