[論文レビュー] Dimensionality compression and expansion in Deep Neural Networks

Stefano Recanatesi, Matthew Farrell+4 more|arXiv (Cornell University)|Jun 2, 2019

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 42

ひとこと要約

本論文は内部次元推定を用いて、深層ネットワークが二つの段階で低次元の表現多様体を作成することを示す。初期層での拡張と後期層での圧縮の二段階で、SGDの正則化がこれらの力をバランスさせて一般化を助ける。

ABSTRACT

Datasets such as images, text, or movies are embedded in high-dimensional spaces. However, in important cases such as images of objects, the statistical structure in the data constrains samples to a manifold of dramatically lower dimensionality. Learning to identify and extract task-relevant variables from this embedded manifold is crucial when dealing with high-dimensional problems. We find that neural networks are often very effective at solving this task and investigate why. To this end, we apply state-of-the-art techniques for intrinsic dimensionality estimation to show that neural networks learn low-dimensional manifolds in two phases: first, dimensionality expansion driven by feature generation in initial layers, and second, dimensionality compression driven by the selection of task-relevant features in later layers. We model noise generated by Stochastic Gradient Descent and show how this noise balances the dimensionality of neural representations by inducing an effective regularization term in the loss. We highlight the important relationship between low-dimensional compressed representations and generalization properties of the network. Our work contributes by shedding light on the success of deep neural networks in disentangling data in high-dimensional space while achieving good generalization. Furthermore, it invites new learning strategies focused on optimizing measurable geometric properties of learned representations, beginning with their intrinsic dimensionality.

研究の動機と目的

• 深層ニューラルネットワークが高次元の分類タスクをなぜ効果的に解くのかを調べる。
• データと学習表現の内部次元性を、ネットワークの各層にわたって定量化する。
• 訓練ダイナミクスが次元性と一般化にどのように影響を与えるかを理解する。

提案手法

• 最新の内部次元推定手法を適用して局所および全体の多様体次元を測定する。
• 二つのネットワークを訓練する（Fashion-MNISTの DeepNet と CIFAR-10/CIFAR-100の ResNet）し、層ごとの次元性を分析する。
• 訓練前後の次元性を比較して拡張相と圧縮相を特定する。
• SGDを、表現の次元性を罰する効果的な正則化項を誘発するモデルとして扱う。
• 層タイプ（畳み込み、全結合）と非線形性（ReLU）が次元性に与える影響を分析する。
• 次元性がタスク要求と特徴選択にどのように関係するかを、線形および非線形分析を用いて解釈する。

実験結果

リサーチクエスチョン

• RQ1 データ多様体および学習表現の内部次元性は、深層ネットワークの各層でどのように変化するのか？
• RQ2 学習中に拡張と圧縮という異なる次元性の段階をニューラルネットワークは示すのか？
• RQ3 確率的勾配降下法が、効果的な正則化を通じて表現の次元性にどのような影響を与えるのか？
• RQ4 深いアーキテクチャにおける次元性は、一般化能力やタスク性能とどのように関連しているのか？

主な発見

• 深層ネットワークの表現多様体は、層のサイズと比べて非常に低次元である。
• 訓練の初期層で次元性が拡張され、後半層で圧縮される。
• ReLUの非線形性は次元性を高め、ReLUに先行する重み行列が表現の圧縮を促進する。
• SGDは、タスクに不要な方向を圧縮する効果的な正則化を導入し、タスク要求に合わせて拡張とバランスを取る。
• より広いネットワークが必ずしも learned な多様体の次元性を高めるわけではなく、次元はネットワークサイズよりもタスク要求とSGDによって支配されることを示唆する。
• 次元削減は一般化の向上と相関し、アーキテクチャのサイズ設定や正則化戦略の指針となり得る。