[논문 리뷰] Transport Analysis of Infinitely Deep Neural Network

Sho Sonoda, Noboru Murata|arXiv (Cornell University)|2016. 05. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 69인용 수 23

한 줄 요약

이 논문은 일반 미분 방정식(OED)을 통해 신경망을 연속적인 동역학 시스템으로 모델링함으로써 무한히 깊은 신경망(DNN)의 유량 표현과 운반 분석을 제안한다. 이를 통해 워샤프스키 기하학을 활용한 좌표에 의존하지 않는 처리가 가능해지며, 주요 기여는 더 깊은 노이즈 제거 autoencoder(DAE)가 더 빠르게 수렴하고 데이터 분포의 엔트로피를 감소시킴으로써 깊은 네트워크가 기능 학습을 향상시키는 최적의 운반 맵임을 밝혀낸 데 있다.

ABSTRACT

We investigated the feature map inside deep neural networks (DNNs) by tracking the transport map. We are interested in the role of depth (why do DNNs perform better than shallow models?) and the interpretation of DNNs (what do intermediate layers do?) Despite the rapid development in their application, DNNs remain analytically unexplained because the hidden layers are nested and the parameters are not faithful. Inspired by the integral representation of shallow NNs, which is the continuum limit of the width, or the hidden unit number, we developed the flow representation and transport analysis of DNNs. The flow representation is the continuum limit of the depth or the hidden layer number, and it is specified by an ordinary differential equation with a vector field. We interpret an ordinary DNN as a transport map or a Euler broken line approximation of the flow. Technically speaking, a dynamical system is a natural model for the nested feature maps. In addition, it opens a new way to the coordinate-free treatment of DNNs by avoiding the redundant parametrization of DNNs. Following Wasserstein geometry, we analyze a flow in three aspects: dynamical system, continuity equation, and Wasserstein gradient flow. A key finding is that we specified a series of transport maps of the denoising autoencoder (DAE). Starting from the shallow DAE, this paper develops three topics: the transport map of the deep DAE, the equivalence between the stacked DAE and the composition of DAEs, and the development of the double continuum limit or the integral representation of the flow representation. As partial answers to the research questions, we found that deeper DAEs converge faster and the extracted features are better; in addition, a deep Gaussian DAE transports mass to decrease the Shannon entropy of the data distribution.

연구 동기 및 목표

• 깊은 신경망(DNN)이 얕은 모델보다 우수한 이유에 대한 분석적 이해 부족 문제를 해결하기 위해.
• DNN의 투명성 부족 문제를 해결하기 위해 중간 레이어 기능을 좌표에 의존하지 않고 해석 가능한 프레임워크로 제공하기 위해.
• 깊이의 연속체 극한(너비가 아닌 깊이의 극한)을 개발하여 DNN을 ODE에 의해 지배되는 유량으로 모델링하기 위해.
• 운동 방정식, 보존 방정식, 워샤프스키 기하학의 기울기 유량을 중심으로 DNN을 분석하기 위해.
• 운반 맵 분석을 통해 DAE에서 깊이의 이점이 어떻게 드러나는지 보여주기 위해.

제안 방법

• DNN을 ODE로 정의된 연속적인 유량을 근사하는 운반 맵의 순서로 모델링함: $\dot{\bm{x}}_t = \bm{v}_t(\bm{x}_t)$.
• 깊이의 연속체 극한으로서의 유량 표현을 도입하여 이산적 레이어를 벡터장 $\bm{v}_t$로 대체함.
• 세 가지 프로파일을 통해 유량을 분석하기 위해 워샤프스키 기하학을 적용함: 동역학 시스템, 연속성 방정식, 워샤프스키 기울기 유량.
• 얕은 DAE를 재매개변수화하고 깊은 DAE로 확장하기 위해 라이지렛 변환과 그 역변환을 사용함.
• 깊이와 너비의 이중 연속체 극한을 유도하여 얕은 및 깊은 DAE를 확률 측도 공간 내의 유량으로 통합함.
• 감마 및 라이지렛 변환을 사용하여 깊은 가우시안 DAE에서 질량과 엔트로피 감소를 분석함.

실험 결과

연구 질문

• RQ1 왜 더 깊은 DNN이 얕은 모델보다 일반화 성능이 뛰어나게 되는가?
• RQ2 DNN의 중간 레이어는 기능적으로 어떤 역할을 하는가?
• RQ3 DNN이 중복되고 해석하기 어려운 매개변수를 피하기 위해 어떻게 재매개변수화할 수 있는가?
• RQ4 DNN의 깊이를 연속적인 유량으로 모델링할 수 있으며, 이는 최적화와 일반화에 어떤 영향을 미치는가?
• RQ5 은닉 레이어를 통과하는 데이터 분포 질량의 운반은 엔트로피와 기능 학습에 어떤 영향을 미치는가?

주요 결과

• 더 깊은 DAE는 얕은 모델 대비 훈련 중 더 빠르게 수렴한다.
• 더 깊은 DAE에서 추출된 특징은 잠재 공간에서 더 구분력 있고 잘 분리되어 있다.
• 깊은 가우시안 DAE는 데이터 분포의 샤논 엔트로피를 감소시키는 운반 맵으로 작용함으로써 더 나은 데이터 표현을 나타낸다.
• 유량 표현은 중복 매개변수화를 제거함으로써 DNN에 대한 좌표에 의존하지 않는 처리를 가능하게 한다.
• DAE의 운반 맵은 개별 DAE의 복합체와 동일하므로 깊은 네트워크의 복합성 본질을 검증한다.
• 깊이와 너비의 이중 연속체 극한에서의 유량 적분 표현은 기존 DNN에 비해 원리적이고 해석 가능한 대안을 제공한다.