[논문 리뷰] Poly-time universality and limitations of deep learning

Emmanuel Abbé, Colin Sandon|arXiv (Cornell University)|2020. 01. 07.

Machine Learning and Algorithms참고 문헌 37인용 수 9

한 줄 요약

이 논문은 초점이 학습 가능한 함수 분포에 대해 다항 시간 내에 학습 가능한 모든 함수 분포를 다항 시간 내에 학습할 수 있음을 보여줌으로써, 확률적 경사 하강법(SGD) 기반 딥러닝이 보편적으로 효율적임을 입증한다. 이를 위해 다항 크기의 신경망을 사용하여 SGD로 훈련된 모델이 그러한 알고리즘을 모방할 수 있음을 보였다. 반면, 전체 배치 경사 하강법(GD)과 통계적 질의 알고리즘은 교차 예측 가능성(low cross-predictability)이 낮은 함수 분포, 예를 들어 파리티(parities)와 같은 경우에 실패함으로써, 최적화의 보편성 측면에서 SGD와 GD 사이에 근본적인 차이가 있음을 보여준다.

ABSTRACT

The goal of this paper is to characterize function distributions that deep learning can or cannot learn in poly-time. A universality result is proved for SGD-based deep learning and a non-universality result is proved for GD-based deep learning; this also gives a separation between SGD-based deep learning and statistical query algorithms: (1) {\it Deep learning with SGD is efficiently universal.} Any function distribution that can be learned from samples in poly-time can also be learned by a poly-size neural net trained with SGD on a poly-time initialization with poly-steps, poly-rate and possibly poly-noise. Therefore deep learning provides a universal learning paradigm: it was known that the approximation and estimation errors could be controlled with poly-size neural nets, using ERM that is NP-hard; this new result shows that the optimization error can also be controlled with SGD in poly-time. The picture changes for GD with large enough batches: (2) {\it Result (1) does not hold for GD:} Neural nets of poly-size trained with GD (full gradients or large enough batches) on any initialization with poly-steps, poly-range and at least poly-noise cannot learn any function distribution that has super-polynomial {\it cross-predictability,} where the cross-predictability gives a measure of ``average'' function correlation -- relations and distinctions to the statistical dimension are discussed. In particular, GD with these constraints can learn efficiently monomials of degree $k$ if and only if $k$ is constant. Thus (1) and (2) point to an interesting contrast: SGD is universal even with some poly-noise while full GD or SQ algorithms are not (e.g., parities).

연구 동기 및 목표

• 어떤 함수 분포가 다항 시간 내에 딥러닝으로 학습될 수 있는가를 규명하는 것.
• SGD 기반 훈련이 효율적으로 학습 가능한 함수에 대해 보편적인 학습 프레임워크를 제공하는가를 조사하는 것.
• GD 기반 훈련의 한계와 통계적 질의 알고리즘과의 분리 여부를 규명하는 것.
• 노이즈와 기울기 갱신이 딥러닝의 보편성에 미치는 영향을 분석하는 것.

제안 방법

• 저자들은 특정 초기화와 학습률을 사용하여 노이즈가 있는 SGD를 활용해 임의의 다항 시간 학습 알고리즘을 모방할 수 있는 다항 크기의 신경망을 구축한다.
• 그들은 불변성과 순차적 학습 알고리즘(SLA) 기법을 활용하여, 초과 다항 시간 교차 예측 가능성(super-polynomial cross-predictability)을 가진 함수 분포를 SGD가 학습할 수 있음을 증명한다.
• 이 방법은 훈련 중에 관련된 가중치만 갱신되도록 제어 메커니즘을 사용하여 안정성을 유지하고 알고리즘 단계의 모방을 가능하게 한다.
• 노이즈에 대한 강건성을 분석하기 위해 기울기와 가중치에 다항식 노이즈를 도입하였으며, 이러한 변형 조건 하에서도 보편성이 유지됨을 보였다.
• 이론적 분석은 신경망을 통한 임의의 알고리즘의 모방에 기반하며, 갱신 동역학을 제어하기 위해 간선 가중치를 정밀하게 초기화한다.
• 핵심 요소는 기울기 기반 제어를 가능하게 하는 활성화 함수의 사용으로, 이는 훈련 중에 의도한 간선들만 변경되도록 보장한다.

실험 결과

연구 질문

• RQ1 SGD 기반 딥러닝은 다항 시간 내에 효율적으로 학습 가능한 모든 함수 분포를 학습할 수 있는가?
• RQ2 큰 배치를 사용하는 전체 배치 경사 하강법(GD)도 다항 시간 학습에서 보편성을 달성하는가?
• RQ3 교차 예측 가능성은 GD 또는 통계적 질의 알고리즘 하에서 함수 클래스의 학습 가능성에 어떤 역할을 하는가?
• RQ4 기울기와 가중치 갱신의 노이즈는 SGD 기반 학습의 보편성에 어떤 영향을 미치는가?
• RQ5 메모리 제약 조건 또는 부분적 가중치 갱신(예: 좌표 하강법) 하에서도 동일한 보편성 결과를 달성할 수 있는가?

주요 결과

• SGD 기반 딥러닝은 다항 시간 내 보편적이다: 다항 시간 내에 학습 가능한 임의의 함수 분포는 다항 크기의 신경망을 사용하여 다항 시간 초기화, 다항 단계, 다항 노이즈를 사용한 SGD로 학습할 수 있다.
• 기울기 및 가중치에 다항식 노이즈가 존재하더라도 보편성 결과가 유지되어 노이즈에 대한 강건성을 입증한다.
• 전체 기울기 또는 큰 배치를 사용하는 GD는 초과 다항 시간 교차 예측 가능성을 가진 함수 분포, 예를 들어 파리티나 고차수 단항식과 같은 경우에 학습할 수 없다.
• 차수 $k$의 단항식의 경우, GD는 $k$가 상수일 때에만 효율적으로 학습할 수 있으며, 이는 날카로운 제한을 나타낸다.
• 이 논문은 SGD 기반 딥러닝과 통계적 질의(SQ) 알고리즘 사이에 분리가 있음을 입증한다. SQ 알고리즘은 노이즈 하에서 동일한 함수 클래스를 처리할 수 없다.
• 노이즈 수준이 임계값을 초과하거나 업데이트 빈도가 감소한 경우(예: 좌표 하강법)에도 SGD는 보편성을 유지하지 못하며, 이는 노이즈와 학습 가능성 사이의 트레이드오프를 나타낸다.