[논문 리뷰] Recent advances in deep learning theory

Fengxiang He, Dacheng Tao|arXiv (Cornell University)|2020. 12. 20.

Adversarial Robustness in Machine Learning참고 문헌 253인용 수 22

한 줄 요약

이 논문은 딥러닝 분야의 최근 이론적 진전을 검토하고 체계적으로 정리하며, 복잡성과 용량을 통한 일반화 한계, 최적화 동역학을 모델링하는 확률적 미분방정식, 손실 곡면 기하학, 과도한 파rameter화 영향, 전문화된 레이어를 위한 아키텍처 이론, 윤리 및 보안 영향을 포함한 여섯 가지 핵심 분야로 분류한다. 현재 이론의 핵심적 간극을 밝히고 향후 연구 방향을 제시한다.

ABSTRACT

Deep learning is usually described as an experiment-driven field under continuous criticizes of lacking theoretical foundations. This problem has been partially fixed by a large volume of literature which has so far not been well organized. This paper reviews and organizes the recent advances in deep learning theory. The literature is categorized in six groups: (1) complexity and capacity-based approaches for analyzing the generalizability of deep learning; (2) stochastic differential equations and their dynamic systems for modelling stochastic gradient descent and its variants, which characterize the optimization and generalization of deep learning, partially inspired by Bayesian inference; (3) the geometrical structures of the loss landscape that drives the trajectories of the dynamic systems; (4) the roles of over-parameterization of deep neural networks from both positive and negative perspectives; (5) theoretical foundations of several special structures in network architectures; and (6) the increasingly intensive concerns in ethics and security and their relationships with generalizability.

연구 동기 및 목표

• 딥러닝 이론 문헌의 급격한 증가를 체계적으로 정리하여, 지금까지 산산이 흩어져 있던 상태를 해결하기 위해.
• 딥러닝이 실증적 성공을 거두고 있음에도 불구하고 이론적 기초가 부족하다는 오랫동안 지속된 비판에 대응하기 위해.
• 특히 과도하게 파arameter화된 모델에서의 일반화 역설을 포함한 핵심 이론적 과제를 규명하고 명확히 하기 위해.
• 실증적 관찰을 넘어서 딥뉴럴넷의 성공을 설명하는 새로운 이론적 프레임워크를 부각하기 위해.
• 특히 일반화, 최적화, 안전성에 관한 이론적 과제와 향후 연구 방향을 제시하기 위해.

제안 방법

• 최근의 이론적 문헌을 여섯 가지 주제 분야로 분류: 복잡성과 용량을 통한 일반화, 확률적 경사 하강법(SGM)을 모델링하는 확률적 미분방정식(SDE), 손실 곡면 기하학, 과도한 파arameter화, 아키텍처 이론, 윤리 및 보안.
• PAC-Bayes, 라데마처 복잡도, 알고리즘 안정성 등의 도구를 사용해 일반화 한계를 검토하며, 비볼록 및 볼록 손실에 대해 구체적인 한계를 유도한다.
• SDE와 베이지안 추론 간의 연결을 강조하며, 은닉 정규화와 노이즈 유도 탐색을 중심으로 SGM의 동역학을 분석한다.
• 손실 표면의 기하학적 구조, 특히 날카움, 평탄함, 국소 최소값의 부피를 분석하여 일반화와 최적화 행동을 설명한다.
• 과도한 파arameter화의 双중 역할을 조사: 일반화를 가능하게 하지만 적대적 공격에 취약하고 불안정성을 유발할 수 있음.
• 특화된 아키텍처(예: 리스크 네트워크, 어텐션 메커니즘)의 이론적 기초와 그 일반화 성질을 검토한다.

실험 결과

연구 질문

• RQ1 기존의 복잡성 측정법이 실패하는 상황에서, 과도하게 파arameter화된 딥뉴럴넷에 대해 일반화 한계를 어떻게 의미 있게 도출할 수 있는가?
• RQ2 확률적 미분방정식과 그 관련 동역계가 SGD 및 변종의 최적화 및 일반화 행동을 어느 정도 설명할 수 있는가?
• RQ3 손실 곡면의 기하적 성질—예를 들어 날카움, 평탄함, 연결성 등—이 일반화와 최적화 궤적에 어떤 영향을 미치는가?
• RQ4 과도한 파arameter화가 딥러닝에서 수행하는 이론적 역할은 무엇이며, 이는 유익한가, 해로운가?
• RQ5 리스넷과 트랜스포머와 같은 특화된 신경망 아키텍처의 성공을 설명할 수 있는 이론적 프레임워크는 어떻게 개발할 수 있는가?

주요 결과

• VC차원, 라데마처 복잡도, 커버링 수를 기반으로 한 전통적 일반화 한계는 과도하게 파arameter화된 딥넷에서 일반화를 설명하지 못하며, 실증적 성공에도 불구하고 예측이 부정확하다.
• PAC-Bayes와 라데마처 복잡도를 기반으로 한 새로운 일반화 한계는 스케일링 성능이 향상되었으며, 예를 들어 PAC-Bayes의 경우 $\mathcal{O}\left(\sqrt{\frac{B^{2}D^{2}W\log(DW)}{\gamma^{2}m}}\right)$, 라데마처 복잡도의 경우 $\mathcal{O}\left(\frac{B\sqrt{D}\prod_{j=1}^{D}M_{F}(j)}{\sqrt{m}}\right)$ 와 같은 한계가 도출되었다.
• 비볼록 손실에 대한 확률적 경사 하강법(SGM)은 수렴 속도로 $\mathcal{O}\left(m^{-\frac{2\min\{\zeta,1\}}{2\min\{\zeta,1\}+\gamma}}\right)$ 를 보이며, 알고리즘 안정성과 정보 이론을 통한 추가 한계도 유도되었다.
• 손실 곡면의 기하학—특히 국소 최소값의 평탄함과 부피—은 일반화에 결정적인 역할을 하지만, 아직 완전한 이론적 이해는 이루어지지 않았다.
• 과도한 파arameter화는 암묵적 편향과 평탄한 최소값을 통해 일반화를 가능하게 하지만, 적대적 공격에 취약하고 낮은 내구성을 초래할 수 있어 이중적인 성격을 지닌다.
• 윤리 및 보안 문제는 점점 일반화와 연결되며, 안전이 중요한 응용 분야에서 공정성, 내구성, 신뢰성 평가를 위한 이론적 프레임워크가 필요로 한다.