[論文レビュー] How deep is deep enough? - Optimizing deep neural network architecture

Achim Schilling, Jonas Rietsch+4 more|arXiv (Cornell University)|Nov 5, 2018

Machine Learning and Data Classification参考文献 37被引用数 5

ひとこと要約

本稿では、深層ニューラルネットワークの各層におけるクラス分離性を評価するための新しい不変測度である一般化判別値（GDV）を導入する。MNISTに適用した深層信念ネットワークにおいて、GDVは第30層で最適な深さを示し、それ以降は性能が低下する。これにより、GDVはさまざまなデータセットに対して最適なネットワーク深さを特定する普遍的なツールであることが立証された。

ABSTRACT

Deep neural networks use stacked layers of feature detectors to repeatedly transform the input data, so that structurally different classes of input become well separated in the final layer. While the method has turned out extremely powerful in many applications, its success depends critically on the correct choice of hyperparameters, in particular the number of network layers. Here, we introduce a new measure, called the generalized discrimination value (GDV), which quantifies how well different object classes separate in each layer. Due to its definition, the GDV is invariant to translation and scaling of the input data, independent of the number of features, as well as independent of the number and permutation of the neurons within a layer. We compute the GDV in each layer of a Deep Belief Network that was trained unsupervised on the MNIST data set. Strikingly, we find that the GDV first improves with each successive network layer, but then gets worse again beyond layer 30, thus indicating the optimal network depth for this data classification task. Our further investigations suggest that the GDV can serve as a universal tool to determine the optimal number of layers in deep neural networks for any type of input data.

研究の動機と目的

• 深層ニューラルネットワークにおける最適なネットワーク深さの選定という、性能に顕著な影響を与える重要な課題に取り組むこと。
• データスケーリング、平行移動、ニューロンの順列変更に依存しない、各ネットワーク層におけるクラス分離性を定量化する測度を開発すること。
• データに依存しない不変指標を用いて、深層ニューラルネットワークの最適な層数を特定すること。
• 教師なし事前学習を用いた深層信念ネットワークを用いて、実世界のベンチマークデータセット（MNIST）で提案された測度を検証すること。

提案手法

• 各ネットワーク層における異なるオブジェクトクラスの分離度を定量化するための測度として、一般化判別値（GDV）を提案する。
• GDVは、入力データの平行移動およびスケーリングに対して不変であると数学的に定義され、特徴量の数や層内のニューロン順列に依存しない。
• MNISTデータセット上で教師なし学習を用いて事前学習された深層信念ネットワークの全層にわたり、GDVを計算する。
• 各層におけるGDV値のトレンドを分析し、クラス分離性が最大になる点を特定する。
• ピークGDV値を、与えられたデータおよびアーキテクチャにおける最適なネットワーク深さの指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 クラス分離性を最大化する観点から、深層ニューラルネットワークの最適な深さは何か？
• RQ2 データ変換やネットワーク構造に依存しない、深層ネットワーク層におけるクラス分離性を定量化する測度を開発可能か？
• RQ3 GDVは特定の層数でピークを示すか？ これは、与えられたデータセットに対して最適な深さを示唆するか？
• RQ4 GDVは、さまざまな種類の入力データに対して、ネットワーク深さ選択を支援する普遍的なツールとして使用可能か？

主な発見

• GDVは第30層まで順次増加し、特徴変換過程でのクラス分離性の向上を示している。
• 第30層を過ぎるとGDVが減少し始めるため、追加の層がクラス分離性を損ない、過学習やノイズの導入を引き起こしていることが示された。
• ピークGDVは第30層で観測され、これはテストされた深層信念ネットワークにおけるMNIST分類タスクの最適深さであると示唆された。
• GDVは入力の平行移動、スケーリング、特徴量の数、ニューロン順列に依存しないため、構造的測度としての頑健性が確認された。
• GDVはデータに依存しない普遍的な方法を提供し、多様なデータセットおよびアーキテクチャにおいて最適なネットワーク深さを特定するための有効な手段である。