[논문 리뷰] Analysis on the Nonlinear Dynamics of Deep Neural Networks: Topological Entropy and Chaos

Husheng Li|arXiv (Cornell University)|2018. 04. 03.

Neural Networks and Applications참고 문헌 21인용 수 7

한 줄 요약

이 논문은 딥 뉴럴 네트워크(DNNs)를 이산 시간 비선형 동역학 시스템으로 프레임워크화하여, 위상적 엔트로피와 리ャ푸노프 지수를 사용해 복잡성을 분석한다. 적절한 네트워크 파rameter 하에서 ReLU 및 tanh 활성화 함수가 양의 리ャ푸노프 지수를 유도함으로써 혼돈 동역학을 나타내며, VC-차원에 대한 하한 D+3을 도출하여 동역학적 복잡성과 일반화 능력 간의 연결 고리를 제시한다.

ABSTRACT

The theoretical explanation for deep neural network (DNN) is still an open problem. In this paper DNN is considered as a discrete-time dynamical system due to its layered structure. The complexity provided by the nonlinearity in the dynamics is analyzed in terms of topological entropy and chaos characterized by Lyapunov exponents. The properties revealed for the dynamics of DNN are applied to analyze the corresponding capabilities of classification and generalization.

연구 동기 및 목표

• DNN의 성공을 이론적으로 이해하기 위해 비선형 동역학 시스템으로 모델링함으로써 이론적 프레임워크를 제공한다.
• 위상적 엔트로피와 리ャ푸노프 지수를 사용해 DNN 동역학의 복잡성을 정량화한다.
• DNN 내 혼돈 동역학이 분류 및 일반화 능력과 어떻게 연결되는지 밝힌다.
• DNN의 계층적이고 재귀적인 구조를 기반으로 Vapnik-Chervonenkis(VC) 차원에 대한 하한을 도출한다.
• 비선형 변형이 분류 표면을 선형 분리 가능 형태로 변형시키는 메커니즘을 혼돈 동역학과 연결한다.

제안 방법

• DNN을 계층적이고 재귀적인 사상으로 이산 시간 동역학 시스템으로 모델링한다: x_i = φ(W_i x_{i-1} + b_i), 여기서 φ는 비선형 활성화 함수이다.
• 시스템의 복잡성을 측정하기 위해 DNN 동역학의 위상적 엔트로피를 분석한다.
• ReLU 및 tanh 활성화 함수의 리ャ푸노프 지수를 계산하여 혼돈 행동를 특성화한다.
• 아핀 변환과 역비선형 사상(예: tanh⁻¹)을 사용해 DNN이 복잡한 결정 경계를 선형 분리 가능 형태로 변형하는 방식을 모델링한다.
• 귀납법을 적용하여 D개의 은닉층을 가진 DNN이 최소 D+3개의 샘플을 셸터링할 수 있음을 증명함으로써 VC-차원에 대한 하한을 확립한다.
• 볼록 hull, 선형 분리 가능성, 아핀 변환을 포함한 기하학적 추론을 사용해 비선형 사상 후 선형 분리 가능성의 증명을 수행한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 공식적으로 비선형 동역학 시스템으로 분석되어 복잡성을 이해할 수 있는가?
• RQ2 DNN의 ReLU 및 tanh 활성화 함수는 양의 리ャ푸노프 지수를 유도하는가? 이는 혼돈 동역학을 의미하는가?
• RQ3 DNN의 혼돈 행동는 복잡한 선형 분리 불가능한 데이터를 분류하는 데 어떻게 기여하는가?
• RQ4 D개의 은닉층을 가진 DNN의 VC-차원에 대한 하한은 무엇이며, 그 기초는 무엇인가?
• RQ5 DNN의 비선형 변형은 혼돈 동역학을 통해 복잡한 분류 표면을 선형 분리 가능 형태로 변형시키는 메커니즘으로 이해될 수 있는가?

주요 결과

• 적절한 DNN 파rameter 하에서 ReLU 및 tanh 활성화 함수 모두 양의 리ャ푸노프 지수를 확보하여, 네트워크의 비선형 변형에서 혼돈 동역학이 존재함을 확인한다.
• DNN의 위상적 엔트로피는 비선형 동역학의 복잡성을 정량화하며, 시스템의 풍부함을 측정하는 척도가 된다.
• DNN의 역변환(예: 선형 + tanh⁻¹)은 단순한 초평면을 복잡한 비선형 결정 경계로 매핑할 수 있으며, 이는 DNN이 비선형 분리를 어떻게 달성하는지 설명한다.
• D개의 은닉층을 가진 DNN은 최소 D+3개의 샘플을 셸터링할 수 있으며, 이는 VC-차원에 대한 하한 D+3을 설정한다.
• DNN의 혼돈 행동는 초기에 가까운 특징 벡터를 분리할 수 있게 하여, 유사하지만 다른 클래스를 구분하는 데 필수적이다.
• DNN의 계층적이고 재귀적인 구조는 VC-차원에 대한 체계적인 계층별 분석을 가능하게 하며, 아키텍처의 깊이와 표현 능력 간의 연결 고리를 제공한다.