[論文レビュー] Evaluation of Dataflow through layers of Deep Neural Networks in Classification and Regression Problems

Ahmad Kalhor, Mohsen Saffar+3 more|arXiv (Cornell University)|Jun 12, 2019

Industrial Vision Systems and Defect Detection被引用数 5

ひとこと要約

本稿では、分類用の分離度と回帰用の滑らかさ度という、形状に依存しない距離ベースの指標を提案する。これらの指標により、深層ニューラルネットワークの各層におけるデータフローの品質を評価でき、一般化性能の層別分析が可能となる。4つの事例研究を通じて、指標のトレンドとモデルの精度の間に強い相関があることが実証された。

ABSTRACT

This paper introduces two straightforward, effective indices to evaluate the input data and the data flowing through layers of a feedforward deep neural network. For classification problems, the separation rate of target labels in the space of dataflow is explained as a key factor indicating the performance of designed layers in improving the generalization of the network. According to the explained concept, a shapeless distance-based evaluation index is proposed. Similarly, for regression problems, the smoothness rate of target outputs in the space of dataflow is explained as a key factor indicating the performance of designed layers in improving the generalization of the network. According to the explained smoothness concept, a shapeless distance-based smoothness index is proposed for regression problems. To consider more strictly concepts of separation and smoothness, their extended versions are introduced, and by interpreting a regression problem as a classification problem, it is shown that the separation and smoothness indices are related together. Through four case studies, the profits of using the introduced indices are shown. In the first case study, for classification and regression problems , the challenging of some known input datasets are compared respectively by the proposed separation and smoothness indices. In the second case study, the quality of dataflow is evaluated through layers of two pre-trained VGG 16 networks in classification of Cifar10 and Cifar100. In the third case study, it is shown that the correct classification rate and the separation index are almost equivalent through layers particularly while the serration index is increased. In the last case study, two multi-layer neural networks, which are designed for the prediction of Boston Housing price, are compared layer by layer by using the proposed smoothness index.

研究の動機と目的

• 深層ニューラルネットワークの各層におけるデータフロー品質を、原理的かつ定量的に測定するための指標を開発すること。
• 分類タスクにおける活性化空間内でのラベル分離度を測定することで、ネットワーク層が一般化性能をどの程度向上させているかを評価すること。
• 入力データフローに対する出力の変動のなめらかさを測定することで、回帰問題への分析を拡張すること。
• 回帰問題をある種の分類問題とみなすことで、分類と回帰の評価を統一する。
• 実世界のデータセットおよび事前学習済みモデルを用いて指標を検証し、モデル分析における実用性を示すこと。

提案手法

• 活性化空間内でのクラス間距離に基づく分離度指標を提案し、各層を通じてクラス表現がどの程度明確に分離されるかを測定する。
• 回帰問題向けに滑らかさ度指標を導入し、入力データフローに対する出力の変化のなめらかさを定量的に評価する。
• データ分布やネットワークアーキテクチャに依存しない形状に依存しない距離測度を用いることで、指標のロバスト性を確保する。
• 順伝播ネットワークにおいて、各層にわたって指標を適用し、データ表現品質の変化を追跡する。
• 回帰問題を分類タスクに再解釈することで、分離度と滑らかさ度の理論的・実証的関連性を示す。
• 4つの事例研究を実施：データセットの難易度比較、CIFAR-10/100におけるVGG-16の分析、分離度指標と精度の相関、ボストン・ハーベスティング回帰におけるモデル比較。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの各層を通過するデータフローは、一般化能力の観点からどのように定量的に評価できるか？
• RQ2 活性化空間内でのターゲットラベルの分離度は、分類性能とどの程度相関しているか？
• RQ3 各層にわたる出力表現の滑らかさは、回帰一般化とどのように関連しているか？
• RQ4 分離と滑らかさの概念は、共通の理論的枠組みによって統一可能か？
• RQ5 提案された指標は、多様なアーキテクチャやデータセットにおいて、モデルの品質を信頼性高く反映するか？

主な発見

• 分離度指標は分類精度をよく追跡しており、値が上昇するにつれて、より深い層で一般化性能が向上していることを示している。
• VGG-16ネットワークでは、初期層を通過する間に分離度指標が著しく上昇し、より深い層で飽和する傾向を示しており、知られている特徴階層と整合的である。
• ボストン・ハーベスティング回帰タスクにおいて、滑らかさ度指標は2つのモデルを明確に区別でき、性能の優れたモデルがより高い滑らかさを示した。
• 提案された指標により、一部の標準的データセットが低い分離度または滑らかさスコアを示すことで、内在的な難易度が高いかつてのことが明らかになった。
• 正しく分類された率と分離度指標の間には、特に指標が上昇するに従って強い一貫性のある相関が観察された。
• 理論的・実証的証拠により、回帰における滑らかさは、回帰問題を分類問題に再定式化した場合、分類における分離度と本質的に関連していることが示された。