[論文レビュー] Geometric Understanding of Deep Learning

Na Lei, Zhongxuan Luo+2 more|arXiv (Cornell University)|May 26, 2018

Topological and Geometric Data Analysis参考文献 20被引用数 34

ひとこと要約

本稿は、自然画像データが低次元多様体上に分布することを示し、深層ニューラルネットワーク（DNN）がその多様体を区分線形写像によって学習することにより、深層学習の成功を幾何的枠組みで説明する。DNNの学習能力と多様体符号化の難易度を測る指標として「リラックス線形複雑度」を導入し、任意の固定DNNアーキテクチャがすべての多様体を学習できないことを証明するとともに、最適輸送理論を用いて潜在空間の分布を明示的に制御することで生成モデルの性能を向上させる。

ABSTRACT

Deep learning is the mainstream technique for many machine learning tasks, including image recognition, machine translation, speech recognition, and so on. It has outperformed conventional methods in various fields and achieved great successes. Unfortunately, the understanding on how it works remains unclear. It has the central importance to lay down the theoretic foundation for deep learning. In this work, we give a geometric view to understand deep learning: we show that the fundamental principle attributing to the success is the manifold structure in data, namely natural high dimensional data concentrates close to a low-dimensional manifold, deep learning learns the manifold and the probability distribution on it. We further introduce the concepts of rectified linear complexity for deep neural network measuring its learning capability, rectified linear complexity of an embedding manifold describing the difficulty to be learned. Then we show for any deep neural network with fixed architecture, there exists a manifold that cannot be learned by the network. Finally, we propose to apply optimal mass transportation theory to control the probability distribution in the latent space.

研究の動機と目的

• 高次元自然データの表現に深層学習が成功する理由を幾何的理論として確立すること。
• リラックス線形複雑度を用いてDNNの学習能力を定量化すること。
• 埋め込み多様体のリラックス線形複雑度としての、多様体符号化の本質的難易度を定義すること。
• 最適輸送理論を用いて、潜在空間における確率分布を明示的に制御する手法を開発すること。
• 固定されたDNNアーキテクチャでは、すべての可能な多様体を学習できないことが示され、理論的限界が明らかになること。

提案手法

• データを高次元環境空間に埋め込まれた低次元非線形多様体上に位置するとモデル化する。
• ReLU DNNのリラックス線形複雑度を、その区分線形関数に含まれる線形領域の数の上限として定義し、表現能力を定量化する。
• 埋め込み多様体のリラックス線形複雑度を、区分線形符号化写像に必要な最小の線形領域数として定義し、符号化の難易度を測定する。
• エンコーダとデコーダの写像を用いて、自己符号化器により多様体とその確率分布をDNNで学習する。
• L^2 最適輸送理論を適用し、簡単な事前分布（例：一様分布または正規分布）からエンコーダが誘導する真の潜在分布への明示的変換を構築する。
• 最適輸送写像を自己符号化器フレームワークに統合し、OMT自己符号化器を構築することで、サンプル品質と分布制御性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 なぜ深層学習は高次元自然データを表現できるのか？
• RQ2 深層ニューラルネットワークの成功の背後にある根本的な幾何的原理は何か？
• RQ3 DNNの学習能力は、データ多様体の複雑さと正式に関連づけられるか？
• RQ4 固定されたDNNアーキテクチャが多様体構造を学習できる範囲に理論的限界は存在するか？
• RQ5 最適輸送理論を用いて自己符号化器の潜在分布を明示的に制御でき、敵対的訓練に代わるのか？

主な発見

• 深層学習の成功の背後にある根本的要因は、自然データが低次元非線形多様体に集中しているという多様体構造にある。
• リラックス線形複雑度はDNNの表現力の正式な指標を提供し、複雑度が高いほどより複雑な関数を表現可能である。
• 多様体のリラックス線形複雑度は、その本質的符号化難易度を定量化し、高い値はより複雑な位相的・幾何的構造を示唆する。
• 任意の固定DNNアーキテクチャに対して、そのリラックス線形複雑度を超える多様体が存在し、DNNの学習能力に根本的な限界があることを証明する。
• MNISTおよびCelebAデータセットにおける実験では、OMT自己符号化器がVAEやWGANに比べて優れた品質のサンプルを生成し、視覚的鮮明性が向上している。
• バッダおよび顔面表面データセットでは、自己符号化器が細かな幾何的詳細を高精度に再構成し、ハウスドルフ距離がほぼゼロに近く、235,771個の入力サンプルに対して230,051個のセル分解が達成されている。