[논문 리뷰] Learning Depth-Three Neural Networks in Polynomial Time.

Surbhi Goel, Adam R. Klivans|arXiv (Cornell University)|2017. 09. 18.

Machine Learning and Algorithms인용 수 20

한 줄 요약

이 논문은 깊이가 3인 신경망을 학습하기 위한 다항시간 알고리즘인 Alphatron을 제안한다. 이 신경망은 한 개의 은닉층을 가지며, 그 은닉층의 유닛들은 시그모이드 함수를 사용하고, 그 다음에 부드럽고 단조 증가하는 활성화 함수가 온다. 등온 회귀와 커널 방법을 조합함으로써, Alphatron은 단위 구 안에서의 임의의 분포에 대해 구조적 가정 없이 증명 가능한 효율성으로 학습을 달성하며, 이러한 네트워크에 대해 가정 없이 효율적인 첫 번째 알고리즘이다.

ABSTRACT

We give a polynomial-time algorithm for learning neural networks with one hidden layer of sigmoids feeding into any smooth, monotone activation function (e.g., sigmoid or ReLU). We make no assumptions on the structure of the network, and the algorithm succeeds with respect to {\em any} distribution on the unit ball in $n$ dimensions (hidden weight vectors also have unit norm). This is the first assumption-free, provably efficient algorithm for learning neural networks with more than one hidden layer. Our algorithm-- {\em Alphatron}-- is a simple, iterative update rule that combines isotonic regression with kernel methods. It outputs a hypothesis that yields efficient oracle access to interpretable features. It also suggests a new approach to Boolean function learning via smooth relaxations of hard thresholds, sidestepping traditional hardness results from computational learning theory. Along these lines, we give improved results for a number of longstanding problems related to Boolean concept learning, unifying a variety of different techniques. For example, we give the first polynomial-time algorithm for learning intersections of halfspaces with a margin (distribution-free) and the first generalization of DNF learning to the setting of probabilistic concepts (queries; uniform distribution). Finally, we give the first provably correct algorithms for common schemes in multiple-instance learning.

연구 동기 및 목표

• 데이터 분포나 네트워크 구조에 대한 가정 없이 증명 가능한 효율성으로 깊이-3 신경망을 학습할 수 있는 알고리즘을 개발하기.
• 기존 학습 알고리즘의 한계를 극복하기 위해 데이터나 네트워크 구조에 대해 제한적인 가정이 필요한 알고리즘의 문제점을 해결하기.
• 반정적 함수 학습의 오랜 문제들, 특히 반평면의 교차와 확률적 DNF 학습을 통합하고 개선하기.
• 기본적인 다중 예제 학습 체계에 대해 처음으로 올바르고 증명 가능한 알고리즘을 제공하기.

제안 방법

• Alphatron은 등온 회귀와 커널 방법을 조합한 반복적 업데이트 규칙을 사용하여 네트워크 가중치를 학습한다.
• 알고리즘은 커널화된 가설 공간을 사용하여 함수 클래스를 효율적으로 표현하고 최적화한다.
• 기존 부울 함수 학습에서의 전통적 계산 난이도를 피하기 위해 딱딱한 임계값의 부드러운 근사화를 활용한다.
• 학습된 가설을 통해 설명 가능한 특징에 대한 오라클 액세스를 보장한다.
• 예측을 개선하기 위해 출력에 단조성 제약 조건을 강제하기 위해 등온 회귀를 사용한다.
• 은닉 유닛 가중치가 단위 구면 위에 위치하도록 제약을 두어 안정성과 일반화 성능을 확보한다.

실험 결과

연구 질문

• RQ1 데이터 분포나 네트워크 구조에 대한 가정 없이 깊이-3 신경망을 학습할 수 있는 다항시간 알고리즘을 설계할 수 있는가?
• RQ2 딱딱한 임계값의 부드러운 근사화는 부울 함수의 학습 가능성에 어떻게 기여하는가?
• RQ3 마진이 있는 반평면의 교차는 분포에 종속되지 않는 환경에서 효율적으로 학습될 수 있는가?
• RQ4 균일 분포 하에서 DNF 학습을 확률적 개념으로 일반화할 수 있는가?
• RQ5 기본적인 다중 예제 학습 체계에 대해 처음으로 증명 가능한 올바른 알고리즘이 존재하는가?

주요 결과

• Alphatron은 한 개의 은닉층을 가지며 시그모이드 유닛을 갖는 깊이-3 신경망을 학습하기 위한 첫 번째 가정 없이도 증명 가능한 효율성 알고리즘이다.
• 알고리즘은 n 차원 단위 구 위의 임의의 분포에 대해 다항시간 수렴을 달성한다.
• 학습된 가설을 통해 설명 가능한 특징에 효율적인 오라클 액세스를 제공한다.
• 기존의 부울 함수 학습 결과를 통합하고 개선하며, 마진이 있는 반평면의 교차를 학습하는 첫 번째 분포에 종속되지 않는 알고리즘을 제공한다.
• 균일 분포 하에서 DNF 학습을 확률적 개념으로 일반화하며, 이러한 방식의 첫 번째 다항시간 알고리즘을 제공한다.
• 기본적인 다중 예제 학습 체계에 대해 처음으로 증명 가능한 올바른 알고리즘을 확립한다.