[論文レビュー] Transport Analysis of Infinitely Deep Neural Network

Sho Sonoda, Noboru Murata|arXiv (Cornell University)|May 10, 2016

Generative Adversarial Networks and Image Synthesis参考文献 69被引用数 23

ひとこと要約

本稿は、常微分方程式（ODE）を用いて深層ニューラルネットワーク（DNN）を連続的力学系としてモデル化することで、無限に深いDNNの流れ表現と輸送解析を導入する。Wasserstein幾何を用いることで座標に依存しない取り扱いが可能となり、主な貢献は、より深いノイズ除去オートエナボーラ（DAE）が収束が速く、データ分布のエントロピーを低減することを示したことである。これにより、より深いネットワークが特徴学習を改善する最適輸送写像であることが明らかになる。

ABSTRACT

We investigated the feature map inside deep neural networks (DNNs) by tracking the transport map. We are interested in the role of depth (why do DNNs perform better than shallow models?) and the interpretation of DNNs (what do intermediate layers do?) Despite the rapid development in their application, DNNs remain analytically unexplained because the hidden layers are nested and the parameters are not faithful. Inspired by the integral representation of shallow NNs, which is the continuum limit of the width, or the hidden unit number, we developed the flow representation and transport analysis of DNNs. The flow representation is the continuum limit of the depth or the hidden layer number, and it is specified by an ordinary differential equation with a vector field. We interpret an ordinary DNN as a transport map or a Euler broken line approximation of the flow. Technically speaking, a dynamical system is a natural model for the nested feature maps. In addition, it opens a new way to the coordinate-free treatment of DNNs by avoiding the redundant parametrization of DNNs. Following Wasserstein geometry, we analyze a flow in three aspects: dynamical system, continuity equation, and Wasserstein gradient flow. A key finding is that we specified a series of transport maps of the denoising autoencoder (DAE). Starting from the shallow DAE, this paper develops three topics: the transport map of the deep DAE, the equivalence between the stacked DAE and the composition of DAEs, and the development of the double continuum limit or the integral representation of the flow representation. As partial answers to the research questions, we found that deeper DAEs converge faster and the extracted features are better; in addition, a deep Gaussian DAE transports mass to decrease the Shannon entropy of the data distribution.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）が浅いモデルを上回る理由について、解析的理解が不足しているという問題に取り組む。
• DNNのブラックボックス性を解消するために、中間層関数の座標に依存しない解釈可能なフレームワークを提供する。
• 幅の連続極限ではなく、深さの連続極限を用いてDNNを流れとしてモデル化する。
• 力学系、プッシュフォワード測度、勾配流れに焦点を当てた、Wasserstein幾何を用いたDNNの解析。
• 輸送写像解析を通じて、DAEにおける深さの利点を実証する。

提案手法

• DNNをODEで定義される連続的流れを近似する一連の輸送写像としてモデル化：$\dot{\bm{x}}_t = \bm{v}_t(\bm{x}_t)$。
• 流れ表現を深さの連続極限として導入し、離散的層をベクトル場$\bm{v}_t$に置き換える。
• 力学系、連続の方程式、Wasserstein勾配流れの3つのプロファイルを通じて、流れをWasserstein幾何を用いて分析する。
• リッジレット変換とその逆変換を用いて浅いDAEを再パrameter化し、積分表現を介して深いDAEへ拡張する。
• 深さと幅の二重連続極限を導出し、浅い・深いDAEを確率測度の空間における流れとして統一する。
• ラドン変換とリッジレット変換を用いて、深いガウス型DAEにおける質量の輸送とエントロピー低減を分析する。

実験結果

リサーチクエスチョン

• RQ1 なぜより深いDNNは浅いモデルよりも一般化性能が優れているのか？
• RQ2 DNNの中間層が果たす機能的役割は何か？
• RQ3 DNNを再パラメータ化することで、余分で解釈不能なパラメータを回避できるか？
• RQ4 DNNの深さを連続的流れとしてモデル化できるか？最適化と一般化にどのような影響があるか？
• RQ5 隠れ層を通じたデータ分布質量の輸送が、エントロピーと特徴学習に与える影響は何か？

主な発見

• より深いDAEは、浅いものと比較してトレーニング中により速く収束する。
• より深いDAEで抽出された特徴は、潜在空間でより明確に分離されており、判別性が高くなる。
• 深いガウス型DAEは、データ分布のシャノンエントロピーを低下させる輸送写像として機能し、データ表現の改善を示している。
• 流れ表現により、余分なパラメータ化を排除することで、DNNに対する座標に依存しない取り扱いが可能になる。
• DAEの輸送写像は、個々のDAEの合成に等しく、深層ネットワークの構成的性質を裏付けている。
• 深さと幅の二重連続極限における流れの積分表現は、標準的なDNNに対する原理的で解釈可能な代替手法を提供する。