[論文レビュー] Transportation analysis of denoising autoencoders: a novel method for analyzing deep neural networks

Sho Sonoda, Noboru Murata|arXiv (Cornell University)|Dec 12, 2017

Generative Adversarial Networks and Image Synthesis参考文献 9被引用数 5

ひとこと要約

本稿では、特徴マップを共通の高次元空間内の質量輸送写像として解釈することで、ノイズ除去オートエンコーダー（DAE）を解析するための輸送ダイナミクスフレームワークを導入する。無限に深いDAEがWasserstein勾配流れに従って進化し、エントロピーを最小化することでデータ分布を低エントロピー状態へ輸送することを示し、深層ニューラルネットワークの普遍的な幾何的解釈を明らかにする。

ABSTRACT

The feature map obtained from the denoising autoencoder (DAE) is investigated by determining transportation dynamics of the DAE, which is a cornerstone for deep learning. Despite the rapid development in its application, deep neural networks remain analytically unexplained, because the feature maps are nested and parameters are not faithful. In this paper, we address the problem of the formulation of nested complex of parameters by regarding the feature map as a transport map. Even when a feature map has different dimensions between input and output, we can regard it as a transportation map by considering that both the input and output spaces are embedded in a common high-dimensional space. In addition, the trajectory is a geometric object and thus, is independent of parameterization. In this manner, transportation can be regarded as a universal character of deep neural networks. By determining and analyzing the transportation dynamics, we can understand the behavior of a deep neural network. In this paper, we investigate a fundamental case of deep neural networks: the DAE. We derive the transport map of the DAE, and reveal that the infinitely deep DAE transports mass to decrease a certain quantity, such as entropy, of the data distribution. These results though analytically simple, shed light on the correspondence between deep neural networks and the Wasserstein gradient flows.

研究の動機と目的

• ネストされたパrameterizationと忠実でないパrameterizationによる深層ニューラルネットワークの解析的非可解性に対処すること。
• 特徴マップの入力と出力の次元が異なるという課題を、両者を共通の高次元空間に埋め込むことで克服すること。
• 質量輸送を用いた幾何的でパrameterizationに依存しない深層ニューラルネットワークの解釈を確立すること。
• 最適輸送と勾配流れの観点から、ノイズ除去オートエンコーダーの背後にあるダイナミクスを明らかにすること。
• DAEがWasserstein勾配流れを介してエントロピー最小化を実行することを示し、表現学習のための新規な解析フレームワークを提供すること。

提案手法

• 深層ニューラルネットワークをベクトル値の輸送写像 $\bm{g}: \mathbb{R}^m \to \mathbb{R}^n$ として解釈し、特徴マップを入力空間から出力空間への質量輸送とみなす。
• 入力空間と出力空間を共通の高次元空間に埋め込むことで、次元が異なる場合でも一貫した輸送解釈を可能にする。
• ノイズ分散 $t$ を輸送時間として用い、ノイズ除去オートエンコーダーを時間に依存する輸送写像 $\bm{g}_t$ としてモデル化する。
• DAEを $\bm{g}_t(\widetilde{\bm{x}}) = \widetilde{\bm{x}} - \mathbb{E}_t[\bm{\varepsilon} | \widetilde{\bm{x}}]$ として導出し、ノイズ除去項を移動ベクトルとして解釈する。
• データ分布 $\mu_t$ の進化をプッシュフォワード測度 $\mu_t = \bm{g}_{t\sharp}\mu_0$ を用いて分析し、これがWasserstein勾配流れに従うことを示す。
• 変分法を用いて最適な $\bm{g}^*$ を導出し、再構成誤差を最小化し、継続的期待値に一致することを証明する。

実験結果

リサーチクエスチョン

• RQ1 入力と出力の次元が異なるにもかかわらず、深層ニューラルネットワークを質量輸送写像としてどのように解釈できるか？
• RQ2 時間に依存する輸送写像として見なした場合、ノイズ除去オートエンコーダーの挙動を支配する力学系は何か？
• RQ3 DAEにおける輸送プロセスは、最適輸送理論における既知の幾何的流れに対応するか？
• RQ4 DAEの最適化目的関数は、Wasserstein勾配流れを介してエントロピーの最小化として解釈可能か？
• RQ5 ノイズ分散 $t$ はDAEの輸送ダイナミクスにおいて果たす役割は何か？また、時間発展とどのように関係するか？

主な発見

• 最適なノイズ除去オートエンコーダー $\bm{g}^*$ は $\bm{g}^*(\bm{x}) = \bm{x} - \mathbb{E}_t[\bm{\varepsilon} | \bm{x}]$ で与えられ、これは汚れた入力が与えられたもとでの継続的期待値に一致する。
• DAEの輸送写像 $\bm{g}_t$ はデータ分布 $\mu_0$ をプッシュフォワードにより $\mu_t$ へと変換し、この進化は汎関数 $\mathcal{F}$ に関するWasserstein勾配流れに従う。
• データ分布 $\mu_t$ はシャノン＝ボルツマンエントロピーを最小化する方向へ進化し、DAEが輸送を通じてエントロピー低減を実行していることを示している。
• 輸送ダイナミクスはパrameterizationに依存せず、軌道は幾何的不変量として、ネットワークの本質的挙動を明らかにする。
• 流れの $t=0$ における無限小生成子は $\nabla V(\bm{x},0)$ であり、連続の方程式 $\partial_t \mu = -\nabla \cdot (\mu \nabla V)$ が成り立つ。これによりWasserstein勾配流れの構造が裏付けられる。
• このフレームワークは、$\bm{x} \mapsto \bm{x} + \bm{g}(\bm{x})$ 構造を示すResNetなど他のアーキテクチャへ一般化可能である。