[논문 리뷰] Can SGD Learn Recurrent Neural Networks with Provable Generalization?

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|2019. 02. 04.

Machine Learning and Algorithms참고 문헌 32인용 수 13

한 줄 요약

이 논문은 확률적 경사 하강법(SGD)이 입력 길이에 따라 다항수준(또는 거의 다항수준)으로 증가하는 오차를 갖는, 각 출력 토큰이 이전 입력 토큰들로부터 매끄러운 두 층 신경망을 통해 생성되는 일련의 함수 클래스에서, ReLU 활성화를 갖는 순환 신경망(RNN)을 증명 가능하게 잘 일반화하도록 훈련시킬 수 있음을 보여준다. 핵심 결과는 재귀 가중치 행렬의 스펙트럴 노름이 1을 초과하더라도 훈련 오차와 일반화 오차가 모두 입력 길이에 대해 다항수준(또는 거의 다항수준)으로 증가한다는 것이다. 이는 이전의 지수적 상한선을 극복한 것이다.

ABSTRACT

Recurrent Neural Networks (RNNs) are among the most popular models in sequential data analysis. Yet, in the foundational PAC learning language, what concept class can it learn? Moreover, how can the same recurrent unit simultaneously learn functions from different input tokens to different output tokens, without affecting each other? Existing generalization bounds for RNN scale exponentially with the input length, significantly limiting their practical implications. In this paper, we show using the vanilla stochastic gradient descent (SGD), RNN can actually learn some notable concept class efficiently, meaning that both time and sample complexity scale polynomially in the input length (or almost polynomially, depending on the concept). This concept class at least includes functions where each output token is generated from inputs of earlier tokens using a smooth two-layer neural network.

연구 동기 및 목표

• SGD가 PAC 학습 프레임워크 내에서 RNN을 증명 가능하게 일반화하도록 훈련시킬 수 있는지에 대한 이론적 이해의 근본적 격차를 해결하기 위해.
• 동일한 입력 토큰이 다른 위치에서 다른 함수를 학습할 수 있는 단일 재귀 유닛이 간섭 없이 어떻게 작용할 수 있는지에 도전하는 문제를 해결하기 위해.
• 재귀 가중치 행렬의 노름으로 인해 입력 길이에 따라 지수적으로 증가하는 기존의 일반화 상한선을 극복하기 위해.
• 스펙트럴 노름 β > 1이더라도 SGD가 RNN에서 동시에 효율적인 최적화와 일반화를 달성할 수 있음을 보장하기 위해.
• 출력 토큰이 이전 입력들로부터 매끄러운 두 층 신경망을 통해 생성되는 개념 클래스를 RNN이 다항 시간 및 샘플 복잡도로 효율적으로 학습할 수 있는지 보여주기 위해.

제안 방법

• 저자들은 각 출력 토큰이 이전 입력들에 대한 매끄럽고 미분 가능한 함수로 계산되는, RNN 내부에 통합된 두 층 피드포워드 네트워크 구조를 분석한다.
• 예측 오차와 가중치 행렬의 노름을 제어하기 위한 펜alties를 포함하는 정규화된 목표 함수 G를 도입한다.
• 핵심 기술 도구로는 RNN 가중치 최적화와 일반화 오차를 분리하기 위해 스케일된 쌍대 변수 λ를 사용하는 것으로, 안정적인 경사 하강 업데이트를 가능하게 한다.
• 편차가 확률적 경사가 진짜 경사에서 얼마나 떨어져 있는지를 제한하기 위해 농도 불등식과 행렬 섭동 이론을 활용한다.
• SGD 반복 과정에 대해 천천히 줄어드는 방식의 추론을 적용하여, 기대 목표 값이 최적 값으로부터 ε 이내로 수렴함을 보여준다.
• 최종 가중치 노름 Δ에 대한 바ounds를 유도하며, 이는 입력 길이와 문제 매개변수에 대해 다항적으로 의존한다. 이는 일반화를 보장한다.

실험 결과

연구 질문

• RQ1 SGD는 각 출력 토큰이 이전 입력들에 의해 매끄러운 함수를 통해 생성되는 순차적 작업에서 RNN을 증명 가능하게 일반화하도록 훈련시킬 수 있는가?
• RQ2 재귀 가중치 행렬의 스펙트럴 노름 β > 1이더라도 RNN의 일반화 오차가 입력 길이에 대해 다항수준으로 유지되는가?
• RQ3 동일한 입력 토큰이 다른 위치에서 다른 함수를 학습할 수 있는 단일 재귀 유닛이, 훈련 예제를 기억하지 않고도 어떻게 다른 함수를 학습할 수 있는가?
• RQ4 β에 대한 명시적 정규화 없이도 표준 SGD에서 RNN의 최적화와 일반화가 동시에 보장될 수 있는가?
• RQ5 SGD를 사용할 때 RNN이 다항 시간 및 샘플 복잡도로 효율적으로 학습할 수 있는 순차적 함수의 개념 클래스가 존재하는가?

주요 결과

• SGD는 입력 길이 L에 대해 다항수준(또는 거의 다항수준)으로 증가하는 시간 및 샘플 복잡도로, 최적 오차로부터 ε 이내의 일반화 오차를 달성한다.
• 재귀 가중치 행렬의 스펙트럴 노름 β가 1을 초과하더라도 이 방법이 작동하며, 이는 이전의 지수적 상한선이 무효화됨을 의미한다.
• ε-최적성에 도달하기 위해 필요한 SGD 반복 수 T는 O(p²ρ¹²C²/ε²)이다. 여기서 p, ρ, C는 문제에 따라 정의되는 매개변수이다.
• 최종 가중치 노름 ‖Wₜ‖_F는 O(C²ρ¹¹p²/ε²√m)로 유계이며, 이는 일반화를 보장하고 입력 길이 L과 독립적이다.
• 분석 결과 일반화 오차는 O(ρ⁷Δ⁴/³/m¹/⁶)로 유계이며, 이는 과다 매개변수화(큰 m)를 통해 작게 만들 수 있다.
• 이 결과는 각 출력 토큰이 이전 입력 토큰들에 대해 매끄러운 두 층 ReLU 네트워크를 적용하여 생성되는 개념 클래스에 대해 성립하며, 구체적이고 실용적인 함수 클래스를 제공한다.