[논문 리뷰] The Landscape of Deep Learning Algorithms

Pan Zhou, Jiashi Feng|arXiv (Cornell University)|2017. 05. 19.

Stochastic Gradient Optimization Techniques참고 문헌 28인용 수 17

한 줄 요약

이 논문은 깊이 있는 선형 및 비선형 신경망에서 경험 위험의 표본 평균에서 전체 위험으로의 수렴을 분석하여 딥 러닝 알고리즘의 최적화 지형에 대한 이론적 특성화를 처음으로 제시한다. 위험과 기울기의 수렴 속도를 확립하고, 열악하지 않은 정적 점들 사이의 일대일 대응을 증명하며, 깊이, 너비, 파라미터 크기, 학습 샘플 크기와 관련된 샘플 복잡도 한계를 유도한다.

ABSTRACT

This paper studies the landscape of empirical risk of deep neural networks by theoretically analyzing its convergence behavior to the population risk as well as its stationary points and properties. For an $l$-layer linear neural network, we prove its empirical risk uniformly converges to its population risk at the rate of $\mathcal{O}(r^{2l}\sqrt{d\log(l)}/\sqrt{n})$ with training sample size of $n$, the total weight dimension of $d$ and the magnitude bound $r$ of weight of each layer. We then derive the stability and generalization bounds for the empirical risk based on this result. Besides, we establish the uniform convergence of gradient of the empirical risk to its population counterpart. We prove the one-to-one correspondence of the non-degenerate stationary points between the empirical and population risks with convergence guarantees, which describes the landscape of deep neural networks. In addition, we analyze these properties for deep nonlinear neural networks with sigmoid activation functions. We prove similar results for convergence behavior of their empirical risks as well as the gradients and analyze properties of their non-degenerate stationary points. To our best knowledge, this work is the first one theoretically characterizing landscapes of deep learning algorithms. Besides, our results provide the sample complexity of training a good deep neural network. We also provide theoretical understanding on how the neural network depth $l$, the layer width, the network size $d$ and parameter magnitude determine the neural network landscapes.

연구 동기 및 목표

• 경험 위험에서 전체 위험으로의 수렴을 분석하여 딥 러닝 알고리즘의 지형을 이론적으로 특성화하는 것.
• 경험 위험의 균일 수렴 기반으로 딥 신경망의 일반화 및 안정성 한계를 확립하는 것.
• 깊이 있는 선형 및 비선형 네트워크에서 경험 위험과 전체 위험의 정적 점 간의 상관관계를 분석하는 것.
• 최적화 지형을 결정하는 데 깊이, 너비, 파라미터 크기, 학습 샘플 크기의 역할을 정량화하는 것.
• 일반화 성능이 보장되는 깊이 있는 신경망 학습을 위한 샘플 복잡도 한계를 도출하는 것.

제안 방법

• l층 선형 네트워크에서 경험 위험이 $\mathcal{O}(r^{2l}\sqrt{d\log(l)}/\sqrt{n})$ 속도로 전체 위험으로 수렴함을 증명한다.
• 기울기의 수렴 속도가 $\mathcal{O}(r^{2l-1}\sqrt{ld\log(l)\max_j(\bm{d}_j\bm{d}_{j-1})}/\sqrt{n})$ 로 균일하게 수렴함을 확립한다.
• 수렴 보장이 있는 경험 위험과 전체 위험의 비퇴화 정적 점들 사이의 일대일 대응을 입증한다.
• 시그모이드 활성화 함수를 갖는 깊이 있는 비선형 네트워크에 동일한 분석 프레임워크를 적용하여 유사한 수렴 및 대응 결과를 도출한다.
• 백프로파게이션 기반 기울기 분해와 행렬 노름 분석을 사용하여 민감도 및 수렴 한계를 도출한다.
• 파라미터 크기 한계 $r$ 과 네트워크 크기 $d$ 가 수렴 및 일반화 성능 제어에 핵심 요소임을 도입한다.

실험 결과

연구 질문

• RQ1 학습 샘플 크기, 깊이, 너비, 파라미터 크기의 함수로서 깊이 있는 신경망의 경험 위험이 전체 위험으로 수렴하는 방식은 어떻게 되는가?
• RQ2 깊이 있는 선형 및 비선형 네트워크에서 경험 위험의 정적 점과 전체 위험의 정적 점 사이의 관계는 무엇인가?
• RQ3 네트워크 깊이 $l$, 층 너비 $\max_j(\bm{d}_j\bm{d}_{j-1})$, 총 파라미터 차원 $d$, 가중치 크기 $r$ 가 최적화 지형에 미치는 영향은 무엇인가?
• RQ4 딥 러닝 네트워크 학습에서 일반화 및 안정성을 보장하기 위해 필요한 샘플 복잡도는 얼마인가?
• RQ5 경험 위험에서 전체 위험으로의 기울기 수렴이 균일하게 유 bounds될 수 있으며, 이는 최적화 역학에 어떤 의미를 갖는가?

주요 결과

• l층 선형 네트워크의 경험 위험은 전체 위험으로 $\mathcal{O}(r^{2l}\sqrt{d\log(l)}/\sqrt{n})$ 속도로 균일하게 수렴한다.
• 경험 위험의 기울기는 전체 위험의 기울기로 $\mathcal{O}(r^{2l-1}\sqrt{ld\log(l)\max_j(\bm{d}_j\bm{d}_{j-1})}/\sqrt{n})$ 속도로 균일하게 수렴한다.
• 수렴 보장이 있는 경험 위험과 전체 위험의 비퇴화 정적 점들 사이에 일대일 대응이 존재한다.
• 시그모이드 활성화를 갖는 깊이 있는 비선형 네트워크의 경우에도 유사한 수렴 및 대응 결과가 성립하여 선형 모델을 초월한 이론이 확장된다.
• 좋은 딥 뉴럴 네트워크를 학습하기 위한 샘플 복잡도는 $\mathcal{O}(r^{4l} d \log l)$ 로 유 bounds되며, 깊이와 파라미터 크기에 의존함을 보여준다.
• 더 큰 $r$ 값은 수렴 속도를 저하시키고 과적합 위험을 증가시키므로, 일반화 및 안정성을 확보하기 위해 파라미터 크기 $r$ 의 제어가 필수적이다.