[논문 리뷰] Evaluation of Dataflow through layers of Deep Neural Networks in Classification and Regression Problems

Ahmad Kalhor, Mohsen Saffar외 3명|arXiv (Cornell University)|2019. 06. 12.

Industrial Vision Systems and Defect Detection인용 수 5

한 줄 요약

이 논문은 분류와 회귀 문제를 위한 두 가지 형태가 없는 거리 기반 지표인 분리율과 부드러움율을 제안한다. 이 지표들은 딥 네ural 네트워크의 각 층을 통과하는 데이터 플로우를 평가하기 위해 사용되며, 레이블의 분리 정도나 출력의 부드러움 정도를 측정함으로써 일반화 성능을 층 단위로 분석할 수 있도록 한다. 네 가지 사례 연구를 통해 지표의 추세와 모델 정확도 사이에 강한 상관관계가 있음을 검증하였다.

ABSTRACT

This paper introduces two straightforward, effective indices to evaluate the input data and the data flowing through layers of a feedforward deep neural network. For classification problems, the separation rate of target labels in the space of dataflow is explained as a key factor indicating the performance of designed layers in improving the generalization of the network. According to the explained concept, a shapeless distance-based evaluation index is proposed. Similarly, for regression problems, the smoothness rate of target outputs in the space of dataflow is explained as a key factor indicating the performance of designed layers in improving the generalization of the network. According to the explained smoothness concept, a shapeless distance-based smoothness index is proposed for regression problems. To consider more strictly concepts of separation and smoothness, their extended versions are introduced, and by interpreting a regression problem as a classification problem, it is shown that the separation and smoothness indices are related together. Through four case studies, the profits of using the introduced indices are shown. In the first case study, for classification and regression problems , the challenging of some known input datasets are compared respectively by the proposed separation and smoothness indices. In the second case study, the quality of dataflow is evaluated through layers of two pre-trained VGG 16 networks in classification of Cifar10 and Cifar100. In the third case study, it is shown that the correct classification rate and the separation index are almost equivalent through layers particularly while the serration index is increased. In the last case study, two multi-layer neural networks, which are designed for the prediction of Boston Housing price, are compared layer by layer by using the proposed smoothness index.

연구 동기 및 목표

• 딥 네ural 네트워크 층을 통과하는 데이터플로우 품질에 대한 원칙적이고 정량적인 측정 방법을 개발하기 위해.
• 활성화 공간에서의 레이블 분리 정도를 통해 분류 작업에서 네트워크 층이 일반화 성능을 얼마나 잘 향상시키는지 평가하기 위해.
• 출력의 부드러움 정도를 측정하여 회귀 문제로의 분석을 확장하기 위해.
• 회귀 문제를 분류의 한 형태로 해석함으로써 분류와 회귀 평가를 통합하기 위해.
• 실세계 데이터셋과 사전 훈련된 모델을 대상으로 지표를 검증하여, 모델 분석에서의 유용성을 입증하기 위해.

제안 방법

• 활성화 공간에서의 클래스 간 거리 기반으로 분리율 지표를 제안하여, 클래스 표현이 층을 거치며 얼마나 명확하게 분리되는지를 측정한다.
• 회귀 문제를 위한 부드러움율 지표를 도입하여, 입력 데이터플로우에 비해 목표 출력이 얼마나 부드럽게 변화하는지를 정량화한다.
• 형태가 없는 거리 측정법을 사용하여 데이터 분포와 네트워크 아키텍처에 대한 강건성을 확보한다.
• 피드포워드 네트워크에서 층 단위로 지표를 적용하여 데이터 표현 품질의 변화를 추적한다.
• 회귀 문제를 분류 작업으로 재해석하여 분리율과 부드러움율 지표 간 이론적 및 실증적 유사성을 보여준다.
• 네 가지 사례 연구를 수행: 데이터셋 난이도 비교, CIFAR-10/100에서의 VGG-16 분석, 분리율 지표와 정확도 간 상관관계 분석, Boston Housing 회귀 문제에서의 모델 비교.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크 층을 통과하는 데이터플로우는 일반화 능력 측면에서 어떻게 정량적으로 평가될 수 있는가?
• RQ2 활성화 공간에서의 타겟 레이블 분리 정도가 분류 성능과 어느 정도 상관관계가 있는가?
• RQ3 층을 거쳐 출력 표현의 부드러움 정도가 회귀 일반화와 어떻게 관련되는가?
• RQ4 분리와 부드러움 개념을 공통 이론적 프레임워크를 통해 통합할 수 있는가?
• RQ5 제안된 지표는 다양한 아키텍처와 데이터셋에서 모델 품질을 신뢰성 있게 반영하는가?

주요 결과

• 분리율은 분류 정확도를 밀도 있게 따라가며, 값이 증가할수록 깊이 있는 층을 거쳐 일반화 성능이 향상됨을 시사한다.
• VGG-16 네트워크에서 분리율은 초기 층을 거치며 크게 증가하고 더 깊은 층에서는 정체되는 경향을 보였으며, 이는 알려진 특징 계층 구조와 일치한다.
• Boston Housing 회귀 과제에서 부드러움율은 두 모델을 성공적으로 구분하였으며, 성능이 뛰어난 모델일수록 더 높은 부드러움을 보였다.
• 제안된 지표들은 일부 표준 데이터셋이 낮은 분리율 또는 부드러움 점수로 인해 더 높은 내재적 난이도를 가짐을 드러내었다.
• 정확한 분류율과 분리율 간의 상관관계는 층 전체에서 강력하고 일관되게 유지되었으며, 특히 지표 값이 증가할수록 더욱 뚜렷했다.
• 이론적 및 실증적 증거는, 회귀 문제를 분류 작업으로 재구성할 경우 부드러움이 분류에서의 분리와 본질적으로 연결되어 있음을 보여준다.