[논문 리뷰] Mathematics of Deep Learning

Renè Vidal, Joan Bruna외 2명|arXiv (Cornell University)|2017. 12. 13.

Sparse and Compressive Sensing Techniques참고 문헌 64인용 수 79

한 줄 요약

깊은 네트워크에 대한 수학적 정당화의 요약 튜토리얼로, 전역 최적성, 안정성, 불변성, 구조, 표현의 정보이론적 측면을 다룬다.

ABSTRACT

Recently there has been a dramatic increase in the performance of recognition systems due to the introduction of deep architectures for representation learning and classification. However, the mathematical reasons for this success remain elusive. This tutorial will review recent work that aims to provide a mathematical justification for several properties of deep networks, such as global optimality, geometric stability, and invariance of the learned representations.

연구 동기 및 목표

• 깊은 아키텍처가 임의의 함수를 근사할 수 있는 방법과 깊이가 불변성과 일반화에 어떻게 기여하는지 설명한다.
• 최적화 지형, 전역 최적성 결과, 그리고 정규화 및 SGD 동작과의 연결을 고찰한다.
• CNN과 산란 네트워크의 기하학적 안정성과 불변성 특성을 논의한다.
• 데이터 기하학, 일반화, 표현 학습을 연결하는 구조 기반 이론의 개요를 제시한다.
• 표현과 정규화에 대한 정보이론적 관점을 소개한다.

제안 방법

• 깊은 네트워크를 선형 변환의 조합과 비선형 활성화의 합성으로 모델링한다; 입력-출력 맵 Phi(X, W)를 형식화한다.
• 전역 최적성 결과를 검토한다, 양의 동형 아키텍처를 포함하여 전역 최솟값을 보장하는 조건들.
• 고차원에서의 최적화 지형과 SGD 동작을 논의한다, 안장점과 평탄한 국소최소를 포함하여.
• 이동 및 변형에 대한 불변성을 통한 기하학적 안정성을 제시한다, 핵심 예로는 CNN과 산란 네트워크를 든다.
• 랜덤 가중치 네트워크를 통한 데이터 기하의 전파를 분석하고, 거리 척도 보존성과 일반화에 대한 시사점을 제시한다.
• 정보이론적 표현과 정규화에 대해 논의한다, 정보 병목 현상(information bottleneck)과 정보 드롭아웃(information dropout)을 포함한다.

실험 결과

연구 질문

• RQ1 비볼록성에도 불구하고 딥 네트워크가 전역 최솟값을 허용하는 조건은 무엇인가?
• RQ2 깊이, 불변성, 기하학적 사전지식이 일반화와 안정성에 어떻게 기여하는가?
• RQ3 레이어 간 데이터 기하를 보존하는 데 있어 랜덤 가중치와 구조화된 표현의 역할은 무엇인가?
• RQ4 정보이론 원리가 학습된 표현의 정규화 및 강건성에 어떻게 정보를 제공할 수 있는가?

주요 결과

• 양의 동형 구성 요소를 갖는 충분히 큰 네트워크의 경우, 특정 임계점은 전역 최솟값 또는 안장점으로서, ReLU 네트워크의 실험적 성공을 설명한다.
• 합성곱 아키텍처는 본질적으로 시계열성(stationarity)과 변형 안정성을 제공하여 샘플 복잡도 확장을 가능하게 한다.
• 랜덤 가중치 네트워크는 계층 간 데이터 기하를 보존하여 안정적 복구와 각도 기반 클래스 분리를 지원한다.
• 정보이론적 접근법(예: information bottleneck)은 표현을 해방시키고 잠재적으로 강건성 이점을 주는 정규화를 제공한다.
• 비볼록하고 고차원적인 지형에서의 SGD는 평탄한 최소값을 찾는 경향이 있으며, PDE 기반 해석과의 연결성이 있다.