[논문 리뷰] Transportation analysis of denoising autoencoders: a novel method for analyzing deep neural networks

Sho Sonoda, Noboru Murata|arXiv (Cornell University)|2017. 12. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 9인용 수 5

한 줄 요약

이 논문은 일반적인 고차원 공간 내에서 특징 맵을 질량 운반 지도로 해석함으로써, 노이즈 제거 autoencoder(DAE)를 분석하기 위한 운반 동역학 프레임워크를 제안한다. 무한히 깊은 DAE가 엔트로피를 최소화하기 위해 데이터 분포를 낮은 엔트로피 상태로 운반하는 워샤르슈타인 경사 하강 흐름에 따라 진화함을 보여주며, 이는 딥 네ural 네트워크의 보편적인 기하학적 해석을 드러낸다.

ABSTRACT

The feature map obtained from the denoising autoencoder (DAE) is investigated by determining transportation dynamics of the DAE, which is a cornerstone for deep learning. Despite the rapid development in its application, deep neural networks remain analytically unexplained, because the feature maps are nested and parameters are not faithful. In this paper, we address the problem of the formulation of nested complex of parameters by regarding the feature map as a transport map. Even when a feature map has different dimensions between input and output, we can regard it as a transportation map by considering that both the input and output spaces are embedded in a common high-dimensional space. In addition, the trajectory is a geometric object and thus, is independent of parameterization. In this manner, transportation can be regarded as a universal character of deep neural networks. By determining and analyzing the transportation dynamics, we can understand the behavior of a deep neural network. In this paper, we investigate a fundamental case of deep neural networks: the DAE. We derive the transport map of the DAE, and reveal that the infinitely deep DAE transports mass to decrease a certain quantity, such as entropy, of the data distribution. These results though analytically simple, shed light on the correspondence between deep neural networks and the Wasserstein gradient flows.

연구 동기 및 목표

• 깊은 신경망의 중첩된 파rameterization과 비충실한 파라미터화로 인한 분석적 비가용성 문제를 해결하기 위해.
• 입력과 출력 차원이 다를 수 있는 특징 맵의 문제를 해결하기 위해, 둘 다 동일한 고차원 공간에 임bedding함으로써 일관된 운반 해석을 가능하게 하기 위해.
• 질량 운반을 이용한 기하학적이고 파라미터화에 의존하지 않는 딥 네트워크의 해석을 수립하기 위해.
• 최적 운반과 경사 하강 흐름의 시각에서 DAE의 잠재적 역학을 드러내기 위해.
• DAE가 워샤르슈타인 경사 하강 흐름을 통해 엔트로피 최소화를 수행함을 보여주며, 표현 학습을 위한 새로운 분석 프레임워크를 제공하기 위해.

제안 방법

• 딥 네트워크를 벡터 값 운반 지도 $\bm{g}: \mathbb{R}^m \to \mathbb{R}^n$로 간주하여, 특징 맵을 입력 공간에서 출력 공간으로의 질량 운반으로 해석한다.
• 입력 및 출력 공간을 동일한 고차원 공간에 임베딩함으로써, 차원이 다를 경우에도 일관된 운반 해석이 가능하도록 한다.
• 노이즈 분산 $t$가 운반 시간으로 작용하는 시간에 따라 변화하는 운반 지도 $\bm{g}_t$로 DAE를 모델링한다.
• DAE를 $\bm{g}_t(\widetilde{\bm{x}}) = \widetilde{\bm{x}} - \mathbb{E}_t[\bm{\varepsilon} | \widetilde{\bm{x}}]$로 유도하며, 노이즈 제거 항을 이동 벡터로 해석한다.
• 데이터 분포 $\mu_t$ 의 진화를 $\mu_t = \bm{g}_{t\sharp}\mu_0$ 로 푸시포워드 측도를 통해 분석하고, 이가 워샤르슈타인 경사 하강 흐름를 따름을 보여준다.
• 변분 미적분을 사용해 최적의 $\bm{g}^*$ 를 유도하며, 이는 재구성 오차를 최소화하고 청소된 입력의 조건부 기대값과 일치함을 증명한다.

실험 결과

연구 질문

• RQ1 입력과 출력 차원이 다를 수 있는 상황에서도 딥 네트워크를 질량 운반 지도로 어떻게 해석할 수 있는가?
• RQ2 시간에 따라 변화하는 운반 지도로 간주할 때, DAE의 행동을 뒷받침하는 동역학적 시스템은 무엇인가?
• RQ3 DAE의 운반 과정이 최적 운반 이론에서 알려진 기하학적 흐름과 대응되는가?
• RQ4 DAE의 최적화 목표는 워샤르슈타인 경사 하강 흐름을 통해 엔트로피와 같은 기능을 최소화하는 것으로 해석될 수 있는가?
• RQ5 노이즈 분산 $t$ 는 DAE의 운반 역학에서 어떤 역할을 하는가? 그리고 시간 진화와 어떻게 관련이 있는가?

주요 결과

• 최적의 노이즈 제거 autoencoder $\bm{g}^*$ 는 $\bm{g}^*(\bm{x}) = \bm{x} - \mathbb{E}_t[\bm{\varepsilon} | \bm{x}]$ 로 주어지며, 이는 오염된 입력이 주어졌을 때 청소된 입력의 조건부 기대값이다.
• DAE의 운반 지도 $\bm{g}_t$ 는 푸시포워드를 통해 데이터 분포 $\mu_0$ 를 $\mu_t$ 로 진화시키며, 이 진화는 잠재 기능 $\mathcal{F}$ 에 대해 워샤르슈타인 경사 하강 흐름를 따른다.
• 데이터 분포 $\mu_t$ 는 샤논-볼츠만 엔트로피를 최소화하도록 진화하며, 이는 DAE가 운반을 통해 엔트로피 감소를 수행함을 시사한다.
• 운반 역학은 파라미터화에 독립적이며, 궤적은 기하학적 불변량이 되어 네트워크의 본질적 행동을 드러낸다.
• 흐름의 $t=0$ 에서의 무한소 생성자는 $\nabla V(\bm{x},0)$ 이며, 연속성 방정식 $\partial_t \mu = -\nabla \cdot (\mu \nabla V)$ 가 성립함을 확인하여 워샤르슈타인 경사 하강 흐름의 구조를 확인한다.
• 이 프레임워크는 ResNet과 같은 다른 아키텍처로 일반화되며, $\bm{x} \mapsto \bm{x} + \bm{g}(\bm{x})$ 의 구조가 유사하게 운반 역학을 시사한다.