[논문 리뷰] How deep is deep enough? - Optimizing deep neural network architecture

Achim Schilling, Jonas Rietsch외 4명|arXiv (Cornell University)|2018. 11. 05.

Machine Learning and Data Classification참고 문헌 37인용 수 5

한 줄 요약

이 논문은 딥 네ural 네트워크의 각 레이어에서 클래스 간 분리도를 평가하기 위한 새로운 불변 측정치인 일반화된 차별성 값(GDV)을 도입한다. MNIST 데이터셋에 대해 딥 벨리프 네트워크를 적용한 결과, GDV는 레이어 30에서 최적의 깊이를 보이며, 이후 성능이 저하됨을 드러내어 GDV가 다양한 데이터셋에 걸쳐 최적의 네트워크 깊이를 결정하는 보편적인 도구로 기능함을 입증한다.

ABSTRACT

Deep neural networks use stacked layers of feature detectors to repeatedly transform the input data, so that structurally different classes of input become well separated in the final layer. While the method has turned out extremely powerful in many applications, its success depends critically on the correct choice of hyperparameters, in particular the number of network layers. Here, we introduce a new measure, called the generalized discrimination value (GDV), which quantifies how well different object classes separate in each layer. Due to its definition, the GDV is invariant to translation and scaling of the input data, independent of the number of features, as well as independent of the number and permutation of the neurons within a layer. We compute the GDV in each layer of a Deep Belief Network that was trained unsupervised on the MNIST data set. Strikingly, we find that the GDV first improves with each successive network layer, but then gets worse again beyond layer 30, thus indicating the optimal network depth for this data classification task. Our further investigations suggest that the GDV can serve as a universal tool to determine the optimal number of layers in deep neural networks for any type of input data.

연구 동기 및 목표

• 딥 네럴 네트워크의 최적의 네트워크 깊이를 선택하는 데 있어 성능에 큰 영향을 미치는 핵심 과제를 해결하기 위해.
• 데이터 스케일링, 이동, 뉴런 순서 변경과 무관하게 각 네트워크 레이어의 클래스 간 분리도를 정량화하는 측정치를 개발하기 위해.
• 데이터에 종속되지 않고 불변적인 메트릭을 사용하여 딥 네럴 네트워크의 최적 레이어 수를 특정하기 위해.
• 비지도 학습을 통해 사전 훈련된 딥 벨리프 네트워크를 사용하여 실세계 벤치마크 데이터셋(MNIST)에서 제안된 측정치를 검증하기 위해.

제안 방법

• 각 네트워크 레이어에서 서로 다른 객체 클래스 간 분리도가 얼마나 잘 이루어지는지 정량화하기 위해 일반화된 차별성 값(GDV)을 메트릭으로 제안한다.
• GDV는 입력 데이터의 이동 및 스케일링에 대해 불변이며, 특징 수와 레이어 내 뉴런 순서와 독립적으로 정의된다.
• 비지도 학습을 통해 MNIST 데이터셋에 사전 훈련된 딥 벨리프 네트워크의 모든 레이어에 걸쳐 GDV를 계산한다.
• 레이어 간 GDV 값의 추세를 분석하여 클래스 간 분리도가 최대가 되는 지점을 탐지한다.
• 최고의 GDV 값을 사용하여 주어진 데이터와 아키텍처에 대한 최적의 네트워크 깊이를 지표로 삼는다.

실험 결과

연구 질문

• RQ1 클래스 간 분리도를 극대화하는 데 있어 딥 네럴 네트워크의 최적 깊이는 무엇인가?
• RQ2 입력 데이터 변환과 네트워크 구조와 무관하게 딥 네트워크 레이어의 클래스 간 분리도를 정량화할 수 있는 메트릭을 개발할 수 있는가?
• RQ3 GDV는 특정 레이어 수에서 최고치를 보이며, 이는 주어진 데이터셋에 대한 최적의 깊이를 나타내는가?
• RQ4 GDV는 다양한 유형의 입력 데이터에 걸쳐 네트워크 깊이 선택을 안내하는 데 보편적인 도구로 사용될 수 있는가?

주요 결과

• GDV는 레이어 30까지는 매번 증가하며, 특징 변환 과정에서 클래스 간 분리도가 향상됨을 나타낸다.
• 레이어 30를 초과하면 GDV가 감소하기 시작하여 추가 레이어가 클래스 간 분리도를 떨어뜨리고 과적합 또는 노이즈를 유발함을 시사한다.
• 최고의 GDV 값은 레이어 30에서 관찰되며, 이는 테스트된 딥 벨리프 네트워크에서 MNIST 분류 작업에 대한 최적의 깊이임을 시사한다.
• GDV는 입력 이동, 스케일링, 특징 수, 뉴런 순서와 무관하게 불변이므로, 그 구조적 메트릭으로서의 강건성을 확인한다.
• GDV는 데이터에 종속되지 않고 보편적인 방법으로 다양한 데이터셋과 아키텍처에 걸쳐 최적의 네트워크 깊이를 결정하는 데 기여한다.