[논문 리뷰] On Generalization Bounds of a Family of Recurrent Neural Networks

Minshuo Chen, Xingguo Li외 1명|arXiv (Cornell University)|2019. 10. 28.

Neural Networks and Applications참고 문헌 43인용 수 19

한 줄 요약

이 논문은 PAC-학습 프레임워크 하에서 경험적 라데마처 복잡도를 사용하여, 일반화 경계를 유족한 순환 신경망 가족(일반 RNN, MGU, LSTM, 컨볼루션 RNN 포함)에 대해 설정한다. 가중치 행렬의 스펙트럴 노름과 파라미터 수를 활용함으로써 기존 연구보다 더 날카운 경계를 유도하며, 특히 MGU와 LSTM과 같은 게이트 구조를 가진 변종이 일반 RNN보다 더 우수한 일반화 성능을 보임을 입증한다.

ABSTRACT

Recurrent Neural Networks (RNNs) have been widely applied to sequential data analysis. Due to their complicated modeling structures, however, the theory behind is still largely missing. To connect theory and practice, we study the generalization properties of vanilla RNNs as well as their variants, including Minimal Gated Unit (MGU), Long Short Term Memory (LSTM), and Convolutional (Conv) RNNs. Specifically, our theory is established under the PAC-Learning framework. The generalization bound is presented in terms of the spectral norms of the weight matrices and the total number of parameters. We also establish refined generalization bounds with additional norm assumptions, and draw a comparison among these bounds. We remark: (1) Our generalization bound for vanilla RNNs is significantly tighter than the best of existing results; (2) We are not aware of any other generalization bounds for MGU, LSTM, and Conv RNNs in the exiting literature; (3) We demonstrate the advantages of these variants in generalization.

연구 동기 및 목표

• 순차적 모델링에서 널리 사용되고 있음에도 불구하고 순환 신경망(RNN)의 일반화에 대한 이론적 이해가 부족한 데에 대응하기 위해.
• PAC-학습 프레임워크 하에서 일반 RNN과 그 변종(MGU, LSTM, 컨볼루션 RNN)에 대해 엄밀한 일반화 경계를 설정하기 위해.
• 다양한 RNN 아키텍처의 일반화 성능를 비교하고, 게이트 단위의 구조적 이점을 규명하기 위해.
• 계층별 복잡도를 피하기 위해 스펙트럴 노름과 파라미터 수를 활용하여 기존의 일반화 경계를 향상시키기 위해.

제안 방법

• 일반화 오차를 제한하기 위해 PAC-학습 프레임워크 내에서 경험적 라데마처 복잡도(ERC)를 사용한 이론적 분석을 수행한다.
• 분석을 단순화하고 경계를 향상시키기 위해 가중치 행렬의 스펙트럴 노름과 총 파라미터 수를 분리한다.
• 시퀀스 간 가중치 행렬과 은닉 상태의 차이를 제한함으로써 은닉 상태 및 출력 동역학의 리프시츠 연속성을 도출한다.
• 컨볼루션 RNN의 가중치 행렬 스펙트럴 노름을 제한하기 위해 순환 행렬 구조를 활용한다. 이는 더 날카운 일반화 경계를 가능하게 한다.
• 은닉 상태에 대한 리프시츠 경계를 재귀적으로 적용함으로써 일반화 오차 경계가 시퀀스 길이와 스펙트럴 노름에 비례함을 도출한다.
• 비선형 활성화 함수(tanh 등)에 대해 분석을 확장하며, 입력 노름에 대한 유한성 가정을 통해 유한한 입력 노름을 다룰 수 있다.

실험 결과

연구 질문

• RQ1 일반 RNN은 일반화 측면에서 차원의 극복 문제를 심각하게 겪는가?
• RQ2 MGU와 LSTM은 일반 RNN에 비해 일반화 측면에서 어떤 이론적 이점이 있는가?
• RQ3 이론적으로 덜 다뤄진 컨볼루션 RNN에 대해서도 일반화 경계를 도출할 수 있는가?
• RQ4 스펙트럴 노름과 파라미터 수가 RNN의 일반화 오차에 공동으로 어떤 영향을 미치는가?

주요 결과

• 기존 문헌에서 가장 우수한 결과보다도 일반 RNN의 일반화 경계가 상당히 날카롭게 향상되었다.
• 이 연구는 MGU, LSTM, 컨볼루션 RNN에 대한 일반화 경계를 처음으로 설정함으로써 이론적 이해의 중요한 격차를 메웠다.
• 컨볼루션 RNN의 유도된 경계는 시퀀스 길이, 입력 노름, 스펙트럴 노름에 비례하며, 파라미터 수와 깊이에 명시적인 의존성을 보인다.
• 분석 결과, 게이트 단위(MGU, LSTM)는 은닉 상태 동역학에 대한 더 나은 제어를 가능하게 하여 일반 RNN보다 더 뛰어난 일반화 성질을 보임을 확인했다.
• 컨볼루션 RNN의 경계는 $\mathbb{P}(\widetilde{z}_t \neq z_t) \leq \widehat{\mathcal{R}}_\gamma(f_t) + O\left(\frac{B_x kt\sqrt{\log(dt\sqrt{m})}}{\sqrt{m}\gamma} + \sqrt{\frac{1}{m}}\right)$ 형태이며, 시퀀스 길이와 모델 복잡도에 명시적인 의존성을 보인다.
• 이론적 결과는 RNN의 일반화 오차에 있어 가중치 행렬의 스펙트럴 노름과 총 파라미터 수가 핵심 결정 요소임을 확인한다.