[논문 리뷰] A theoretical framework for deep and locally connected ReLU network

Yuandong Tian|arXiv (Cornell University)|2018. 09. 27.

Neural Networks and Applications참고 문헌 22인용 수 7

한 줄 요약

이 논문은 깊고 국소적으로 연결된 ReLU 네트워크를 위한 새로운 이론적 프레임워크를 제안한다. 이 프레임워크는 교사-학생 정복 기반으로 학생의 학습을 교사의 계산 그래프에 확장한다. 비현실적인 가정을 피하고 배치 정규화와 같은 정규화 기법을 통합함으로써, 실용적인 깊은 네트워크에서 일반화, 과적합, 분리된 표현에 대한 엄밀한 분석을 가능하게 한다.

ABSTRACT

Understanding theoretical properties of deep and locally connected nonlinear network, such as deep convolutional neural network (DCNN), is still a hard problem despite its empirical success. In this paper, we propose a novel theoretical framework for such networks with ReLU nonlinearity. The framework explicitly formulates data distribution, favors disentangled representations and is compatible with common regularization techniques such as Batch Norm. The framework is built upon teacher-student setting, by expanding the student forward/backward propagation onto the teacher's computational graph. The resulting model does not impose unrealistic assumptions (e.g., Gaussian inputs, independence of activation, etc). Our framework could help facilitate theoretical analysis of many practical issues, e.g. overfitting, generalization, disentangled representations in deep networks.

연구 동기 및 목표

• 깊고 국소적으로 연결된 ReLU 네트워크에 대한 이론적 이해의 부족, 특히 실제 환경에서의 문제를 해결하기 위해.
• 가우시안 입력 분포나 독립적인 활성화와 같은 비현실적인 가정에 의존하지 않는 프레임워크를 개발하기 위해.
• 과적합, 일반화, 분리된 표현과 같은 핵심 실용적 문제에 대한 이론적 분석을 가능하게 하기 위해.
• 배치 정규화와 같은 일반적인 정규화 기법을 이론적 분석에 통합하기 위해.
• 복잡한 국소적으로 연결된 아키텍처에서의 전방 및 역방향 전파를 연구하기 위한 통합된 구조를 제공하기 위해.

제안 방법

• 프레임워크는 학생의 전방 및 역방향 전파가 교사의 계산 그래프 위에 명시적으로 맵핑되는 교사-학생 훈련 프레리즘을 사용한다.
• 이 맵핑은 학생이 교사의 표현 구조를 물려받으면서도 자신의 기울기로부터 학습할 수 있도록 한다.
• 입력 분포나 활성화의 독립성에 대한 가정을 피함으로써, 이는 실제 세계 데이터에 적용 가능하다.
• 정규화 기법인 배치 정규화를 정복 과정에 통합함으로써 자연스럽게 통합된다.
• 이론적 분석은 계산 그래프의 구조에 기반하여 표현 학습 동역학을 해체할 수 있다.
• 다양한 입력 요인들이 학습된 특징 단위에 어떻게 영향을 주는지 추적함으로써, 분리된 표현의 분석을 지원한다.

실험 결과

연구 질문

• RQ1 강한 분포 가정 없이 깊고 국소적으로 연결된 ReLU 네트워크에서 일반화와 과적합을 이론적으로 분석할 수 있는가?
• RQ2 교사의 아키텍처와 표현을 존중하는 방식으로 역방향 전파를 가능하게 하는 교사-학생 프레임워크를 구성할 수 있는가?
• RQ3 배치 정규화와 같은 정규화 기법을 깊은 네트워크의 이론적 모델에 공식적으로 통합할 수 있는가?
• RQ4 이 프레임워크는 깊은 비선형 아키텍처에서 분리된 표현의 발생을 어떻게 지원하는가?
• RQ5 이 프레임워크는 가중치 공유, 국소 연결성, 표현 학습 간의 관계를 분석하는 데 사용될 수 있는가?

주요 결과

• 제안된 프레임워크는 가우시안 입력이나 독립적인 활성화와 같은 비현실적인 가정 없이 깊고 국소적으로 연결된 ReLU 네트워크의 이론적 분석을 가능하게 한다.
• 학생의 학습 과정을 교사의 계산 그래프 내에 통합함으로써, 전방 및 역방향 전파의 일관되고 해석 가능한 분석을 지원한다.
• 배치 정규화와 같은 일반적인 정규화 방법과 호환되어, 일반화에 대한 그들의 영향에 대한 이론적 다루기가 가능하다.
• 구조적 기울기 흐름을 통해 입력 요인과 학습된 특징 유닛을 연결함으로써, 분리된 표현의 분석 기반을 제공한다.
• 표현 복잡도와 기울기 역학의 정밀한 추적을 가능하게 하여, 과적합과 일반화의 연구를 촉진한다.