[논문 리뷰] On architectural choices in deep learning: From network structure to gradient convergence and parameter estimation

Vamsi Krishna Ithapu, Sathya N. Ravi외 1명|arXiv (Cornell University)|2017. 02. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 64인용 수 5

한 줄 요약

이 논문은 딥 뉴럴 네트워크 아키텍처—깊이, 너비, 활성화 함수, 드롭아웃 및 노이즈 제거와 같은 정규화 기법—과 기울기 수렴 및 매개변수 추정 간의 이론적 프레임워크를 수립한다. 기울기 크기의 경계를 유도하여 최적의 설계 선택을 안내하며, 네트워크 구조와 정규화 간의 상호보완적 관계를 보여주고, 드롭아웃 비율과 학습률과 같은 최적의 초매개변수에 대한 명시적 공식을 제시한다.

ABSTRACT

We study mechanisms to characterize how the asymptotic convergence of backpropagation in deep architectures, in general, is related to the network structure, and how it may be influenced by other design choices including activation type, denoising and dropout rate. We seek to analyze whether network architecture and input data statistics may guide the choices of learning parameters and vice versa. Given the broad applicability of deep architectures, this issue is interesting both from theoretical and a practical standpoint. Using properties of general nonconvex objectives (with first-order information), we first build the association between structural, distributional and learnability aspects of the network vis-à-vis their interaction with parameter convergence rates. We identify a nice relationship between feature denoising and dropout, and construct families of networks that achieve the same level of convergence. We then derive a workflow that provides systematic guidance regarding the choice of network sizes and learning parameters often mediated4 by input statistics. Our technical results are corroborated by an extensive set of evaluations, presented in this paper as well as independent empirical observations reported by other groups. We also perform experiments showing the practical implications of our framework for choosing the best fully-connected design for a given problem.

연구 동기 및 목표

• 딥 네트워크에서 깊이, 너비, 활성화 함수, 정규화(예: 드롭아웃, 노이즈 제거)와 같은 아키텍처 선택이 기울기 수렴과 매개변수 추정에 미치는 영향를 이해하는 것.
• 네트워크 아키텍처와 입력 데이터 통계가 학습 매개변수 선택에 영향을 줄 수 있는지, 그 반대의 영향도 가능한지 조사하는 것.
• 입력 통계와 원하는 수렴 행동을 바탕으로 네트워크 크기와 학습 매개변수를 체계적으로 선택하는 워크플로우를 개발하는 것.
• 드롭아웃과 특징 노이즈 제거 간의 이론적 관계를 탐색하여, 특정 설계 조건 하에서 동일한 수렴 성능을 낼 수 있음을 보여주는 것.
• 기본 기준이 없는 새로운 학습 과제에 대해 매개변수 수렴 속도를 아키텍처 선택 기준으로 사용할 수 있는 이론적 근거를 제공하는 것.

제안 방법

• 일반적인 비볼록 최적화의 1차 정보를 사용하여 딥 네트워크에서 기울기 수렴을 모델링하고, 기울기의 기대 제곱 노름에 대한 경계를 도출한다.
• 네트워크 깊이 $L$, 층 너비 $d_l$, 활성화 함수, 정규화(드롭아웃 비율 $\theta$, 노이즈 제거)를 $\mathbb{E}\|\nabla_{\mathbf{W}}\tilde{f}(\mathbf{W}^R)\|^2$에 대한 경계를 통해 수렴 속도와 연결하는 이론적 프레임워크를 도입한다.
• 네트워크 깊이, 너비, 데이터 통계에 따라 드롭아웃 비율 $\zeta$의 최적 폐쇄형 표현식을 유도하며, $N$(표본 크기), $B$(배치 크기), 층 차원을 포함한 항들을 균형 잡는다.
• 특정 조건 $\zeta\alpha_l d_{l-1}d_ld_{l+1}$을 만족할 경우, 다양한 깊이와 너비를 가진 네트워크 설계가 동일한 수렴 속도를 달성할 수 있음을 보여주며, 이는 등가 아키텍처의 체계적 탐색을 가능하게 한다.
• 다른 깊이 $L_s$와 $L_t$를 가진 두 네트워크 $\mathcal{D}_s$와 $\mathcal{D}_t$를 비교하기 위해 프레임워크를 적용하고, $\mathcal{D}_t$가 $\mathcal{D}_s$와 동일한 수렴 속도를 달성할 조건을 도출한다.
• 경계 $\mathbb{E}\|\nabla_{\mathbf{W}}\tilde{f}(\mathbf{W}^R)\|^2 \lesssim \frac{1}{e^{m}_{\gamma}\zeta^{2}}\left(\frac{d_L}{N} + \frac{13d^{2}\gamma^{2}}{256B}\right) + \frac{\zeta\alpha\gamma w}{4e^{m}_{\gamma}B}(d_0d^{2} + (L-3)d^{3} + d^{2}d_L)$를 사용하여 최적의 초매개변수를 유도한다.

실험 결과

연구 질문

• RQ1 네트워크 깊이, 너비, 활성화 함수, 정규화가 입력-출력 매핑의 복잡성과 수렴 속도에 미치는 영향를 명시적으로 계산할 수 있는가?
• RQ2 드롭아웃과 특징 노이즈 제거 사이에 이론적 관계가 존재하는가? 그리고 동일한 수렴 성능을 달성하기 위해 상호 교체 가능할 수 있는가?
• RQ3 네트워크 아키텍처 선택과 입력 데이터 통계가 함께 학습률, 드롭아웃 비율과 같은 최적의 학습 매개변수 선택에 어떻게 영향을 주는가?
• RQ4 매개변수 수렴 속도가 새로운 학습 과제에 대해 최적의 완전 연결 딥 네트워크 아키텍처 선택 기준으로 신뢰할 수 있는 기준이 될 수 있는가?
• RQ5 특정 비선형성 형태를 사용할 경우, 주어진 데이터 통계에 대해 학습 가능성을 보장하는 아키텍처 구성이 존재하는가?

주요 결과

• 논문은 최적의 드롭아웃 비율 $\zeta$에 대한 폐쇄형 표현식을 $\text{median}\left\{0, \sqrt[3]{\frac{C_1}{C_2}}, 1\right\}$로 도출하며, 여기서 $C_1 = \frac{d_L}{N} + \frac{13d^2\gamma^2}{256B}$이고 $C_2 = \frac{\alpha\gamma w}{4B}(d_0d^2 + (L-3)d^3 + d^2d_L)$이다. 이는 기울기 분산과 수렴 속도를 균형 잡는 데 기여한다.
• 다른 아키텍처(예: 깊이와 너비가 다른 경우)는 $\zeta\alpha_l d_{l-1}d_ld_{l+1} = \frac{1}{\Psi_l}$ 및 $\frac{d_L}{\zeta^2} = \frac{1}{\Psi_f}$ 조건을 만족할 경우 동일한 수렴 속도를 달성할 수 있으며, 이는 등가 아키텍처의 체계적 설계를 가능하게 한다.
• 프레임워크는 특징 노이즈 제거와 드롭아웃 간의 이론적 관련성을 보여주며, 둘 다 동일한 수렴 경계를 낼 수 있도록 조정될 수 있음을 보여주며, 이는 특정 설정에서 노이즈 제거를 드롭아웃의 대체로 사용할 수 있음을 시사한다.
• 다른 깊이를 가진 두 네트워크 $\mathcal{D}_s$와 $\mathcal{D}_t$에 대해, 조건 $L_t \leq L_s + 3\delta_{st}(L_s - 3) + \delta_{st}(1 + \delta_{st})^2\left(\frac{e^{m}_L}{\alpha\zeta^2 e^{m}_2} + \frac{e^{m}_{L-1}}{\zeta e^{m}_2} + \frac{e^{m}_1}{e^{m}_2}\right)$ 가 만족되면 $\mathcal{D}_t$가 $\mathcal{D}_s$와 동일한 수렴 속도를 달성한다.
• 유도된 경계 $\mathbb{E}\|\nabla_{\mathbf{W}}\tilde{f}(\mathbf{W}^R)\|^2 \lesssim \frac{1}{e^{m}_{\gamma}\zeta^{2}}\left(\frac{d_L}{N} + \frac{13d^{2}\gamma^{2}}{256B}\right) + \frac{\zeta\alpha\gamma w}{4e^{m}_{\gamma}B}(d_0d^{2} + (L-3)d^{3} + d^{2}d_L)$ 는 최적의 초매개변수 선택을 위한 정량적 도구를 제공한다.
• 실증적 검증과 다른 연구 그룹의 독립적 관찰 결과는 이론적 예측을 뒷받침하며, 새로운 과제에 대해 최적의 완전 연결 네트워크 설계를 선택하는 데 실용적 유용성을 보여준다.