[논문 리뷰] Learning Parities with Neural Networks

Amit Daniely, Eran Malach|arXiv (Cornell University)|2020. 02. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 11

한 줄 요약

이 논문은 특정 데이터 분포 하에서 경사하강법으로 학습된 두 층 신경망이 비선형 함수인 희박한 파리티(비선형 함수 중에서 선형 모델에 대해 증명 가능하게 비가역적인 것들)를 효율적으로 학습할 수 있음을 보여준다. 핵심 기여는 지수적 분리(exponential separation)이다: 신경망은 낮은 오차를 달성하지만, 선형 방법은 지수적으로 큰 표현 또는 지수적으로 큰 노름을 요구하거나 이를 견디지 못한다.

ABSTRACT

In recent years we see a rapidly growing line of research which shows learnability of various models via common neural network algorithms. Yet, besides a very few outliers, these results show learnability of models that can be learned using linear methods. Namely, such results show that learning neural-networks with gradient-descent is competitive with learning a linear classifier on top of a data-independent representation of the examples. This leaves much to be desired, as neural networks are far more successful than linear methods. Furthermore, on the more conceptual level, linear models don't seem to capture the "deepness" of deep networks. In this paper we make a step towards showing leanability of models that are inherently non-linear. We show that under certain distributions, sparse parities are learnable via gradient decent on depth-two network. On the other hand, under the same distributions, these parities cannot be learned efficiently by linear methods.

연구 동기 및 목표

• 경사하강법으로 학습된 신경망이 선형 모델이 다룰 수 없는 본질적으로 비선형인 함수, 예를 들어 희박한 파리티를 학습할 수 있음을 보여주는 것.
• 신경망과 선형 모델(커널 방법 및 랜덤 특징 포함) 간의 학습 능력에 이론적 분리를 확립하는 것.
• 일부 입력 데이터에 대한 특정 분포가 신경망을 통한 파리티의 효율적 학습을 가능하게 하며, 동시에 고정된 표현에서 선형 분류기의 학습을 불가능하게 한다는 것을 보여주는 것.
• 신경망 일반화가 랜덤 특징 또는 커널 근사에 의해 선형 모델로 환원될 수 있다는 일반적인 견해에 도전하는 것.
• 선형화 및 커널 기반 근사 이론을 초월해 딥 러닝의 표현 능력을 이해하는 데 새로운 이론적 길을 열어주는 것.

제안 방법

• 입력의 k비트 부분집합에 대한 파리티를 갖는 {±1/√n}^n × {±1} 위의 분포 family 𝒟_A 정의.
• 학습 가능한 가중치와 편향을 갖는 두 층 ReLU 신경망을 사용하고, 허프 손실(hinge loss) 기반의 확률적 경사하강법으로 학습.
• 지정된 데이터 분포 하에서 네트워크의 일반화 오차를 분석하여 낮은 오차로 수렴함을 보여줌.
• 고정된 N차원 임bedding에 대한 어떤 선형 분류기라도 N이 지수적으로 증가하거나 분류기의 노름이 지수적으로 커지지 않는 한 낮은 오차를 달성할 수 없음을 증명.
• 신경장력 커널(NTK) 영역을 기준선으로 삼고, 표준 ReLU 네트워크와 비교하여 비선형성의 역할을 분리함.
• 입력이 숫자의 스트립이고 레이블이 그 합의 파리티인 수정된 MNIST 데이터셋(MNIST-parity)에서 실험을 수행하여 이론적 주장의 실증적 검증을 수행.

실험 결과

연구 질문

• RQ1 경사하강법으로 학습된 신경망은 선형 모델에 대해 증명 가능하게 어려운 희박한 파리티를 학습할 수 있는가?
• RQ2 신경망이 낮은 일반화 오차를 달성하는 데 반해 선형 모델이 지수적으로 큰 표현이 필요로 하는 분포 가족이 존재하는가?
• RQ3 ReLU 네트워크의 비선형성은 비선형 목표 함수 학습에서 선형 방법에 비해 근본적인 이점을 제공하는가?
• RQ4 특정 학습 과제에 대해 신경망과 선형 모델 간의 샘플 또는 표현 복잡도에 지수적 분리를 확립할 수 있는가?
• RQ5 데이터 분포의 구조가 신경망이 비선형 함수를 학습하는 데 어떤 정도로 유리하거나 불리하게 작용하는가?

주요 결과

• k=3일 때, MNIST-parity 과제에서 경사하강법으로 학습된 신경망이 테스트 정확도 약 80%를 달성한다.
• 반면, 선형 모델(Gaussian features, ReLU features, NTK-영역 네트워크 포함)은 동일한 k=3 과제에서 랜덤 추측 수준(50%)보다 약간 높은 성능만 기록한다.
• 이론적 분석에 따르면, 고정된 N차원 임베딩에 대한 어떤 선형 분류기라도 동일한 분포 가족에서 낮은 오차를 달성하기 위해선 N이 k에 대해 지수적으로 증가해야 한다.
• 등가로 표현하면, 표현 크기가 k에 대해 다항식 크기일 경우, 어떤 선형 분류기라도 파리티 함수를 근사하기 위해 지수적으로 큰 노름을 가져야 한다.
• 지수적 분리는 파리티 비트가 동등한 확률로 무작위로 설정되고, 나머지 비트가 고정되거나 균일 분포를 따를 때 특정 분포 가족 하에서 확립된다.
• 결과적으로 표준 ReLU 네트워크와 경사하강법을 통해 비선형 함수를 학습할 수 있으며, 이는 최적의 고정 표현을 갖는 선형 모델조차 도달할 수 없는 본질적인 한계를 초월함을 보여준다.