[論文レビュー] How deep is deep enough? -- Quantifying class separability in the hidden layers of deep neural networks

Achim Schilling, Claus Metzner+4 more|arXiv (Cornell University)|Nov 5, 2018

Neural Networks and Applications参考文献 36被引用数 8

ひとこと要約

本稿では、深層ニューラルネットワークの隠れ層におけるクラス分離性を非侵襲的に測定するための一般化分散値（GDV）を導入する。GDVは、分離性ダイナミクスにおける特徴的な「エネルギー障壁」に起因する最適なネットワークの深さが生じることを明らかにし、異なるアーキテクチャ間で普遍的な「マスターカーブ」としてのGDV曲線が観察されることを示す。これにより、ハイパーパrameterの自動チューニングや表現学習に関するより深い洞察が可能になる。

ABSTRACT

Deep neural networks typically outperform more traditional machine learning models in their ability to classify complex data, and yet is not clear how the individual hidden layers of a deep network contribute to the overall classification performance. We thus introduce a Generalized Discrimination Value (GDV) that measures, in a non-invasive manner, how well different data classes separate in each given network layer. The GDV can be used for the automatic tuning of hyper-parameters, such as the width profile and the total depth of a network. Moreover, the layer-dependent GDV(L) provides new insights into the data transformations that self-organize during training: In the case of multi-layer perceptrons trained with error backpropagation, we find that classification of highly complex data sets requires a temporal {\em reduction} of class separability, marked by a characteristic 'energy barrier' in the initial part of the GDV(L) curve. Even more surprisingly, for a given data set, the GDV(L) is running through a fixed 'master curve', independently from the total number of network layers. Furthermore, applying the GDV to Deep Belief Networks reveals that also unsupervised training with the Contrastive Divergence method can systematically increase class separability over tens of layers, even though the system does not 'know' the desired class labels. These results indicate that the GDV may become a useful tool to open the black box of deep learning.

研究の動機と目的

• 深層ニューラルネットワークの隠れ層におけるクラス分離性を評価するための定量的ツールの不足に対処すること。
• 個々のネットワーク層が全体の分類性能にどのように寄与しているかを理解すること。
• ネットワークの深さや幅のプロファイルといったハイパーパrameterの自動チューニング手法を構築すること。
• 自己教師あり学習が、層全体にわたりクラス分離性を体系的かつ一貫して向上させられるかどうかを調査すること。
• 多様なアーキテクチャやデータセット間で、表現学習に普遍的なパターンが存在するかどうかを解明すること。

提案手法

• 一般化分散値（GDV）は、n次元空間におけるクラスタ内変動の平均とクラスタ間隔の平均の差として定義され、グローバルスケーリング、シフト、ニューロンの順列変更に対して不変であるように正規化されている。
• zスコア化された活性化ベクトルとラベルを用いて、トレーニング済みネットワークの各層でGDVが計算され、次元削減を伴わずに層ごとの比較が可能になる。
• 標準データセット（MNIST、CIFAR-10、Caltech-101など）を用いて、フィードフォワードネットワーク、LSTM、CNN、および事前学習済みモデル（VGG19、InceptionV3）に本手法を適用した。
• ランダムな線形変換および非線形関数（例：ロジスティック関数）を適用し、GDVの安定性とアーキテクチャ変更に対する感受性をテストした。
• 圧縮と表現学習の研究を目的として、定数幅および減少幅のプロファイルを持つスタックドオートエンコーダーを用い、GDVを分析した。
• GDVの経験的分布および変換による変化を分析し、最適化された重みによる非自明な改善を特定し、その耐性を評価した。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーションで学習されたマルチレイヤーパーセプトロンにおいて、クラス分離性はトレーニング中に隠れ層全体でどのように変化するか？
• RQ2 異なるネットワークの深さやアーキテクチャ間で、GDV(L)のダイナミクスを一貫して記述する普遍的な「マスターカーブ」が存在するか？
• RQ3 コントラスト型ダイバージェンスを用いた自己教師あり事前学習が、深層ネットワークにおけるクラス分離性をどの程度向上させるか？
• RQ4 GDVは、与えられたタスクに最適なネットワークの深さや幅を決定するのにどの程度有効か？
• RQ5 次元変更や非線形性といったアーキテクチャ的変更が、GDVで測定されたクラス分離性に与える影響は何か？

主な発見

• バックプロパゲーションで学習されたマルチレイヤーパーセプトロンにおけるGDV(L)曲線は、初期層に特徴的な「エネルギー障壁」を示し、トレーニング中の一時的なクラス分離性の低下を示している。
• 総合的な深さに差があっても、あるデータセットに対しては、異なるアーキテクチャ間で固定された「マスターカーブ」としてのGDV(L)が観察され、表現学習における普遍的なダイナミクスを示唆している。
• MNISTデータセットにおいて、15層のConvNetではGDV(L)曲線が三つの明確な段階（初期低下、プラトー、最終上昇）を示し、分離性の複雑な進化を示している。
• IMDbセンチメントデータで学習されたLSTMでは、GDV(L)が深さとともに単調に減少しており、深い層が識別的性能を失う可能性があることを示唆している。
• 事前学習済みモデル（VGG19、InceptionV3）では、後段の層で高いGDV値を示しており、最終層ではしばしば低下が見られる。これはおそらくソフトマックス層の効果によるものと考えられる。
• スタックドオートエンコーダーにおいて、幅を減少させるアーキテクチャは、一定幅のものに比べて深い層でより高いGDVを達成しており、より優れた圧縮と表現学習を示している。