[논문 리뷰] How deep is deep enough? -- Quantifying class separability in the hidden layers of deep neural networks

Achim Schilling, Claus Metzner외 4명|arXiv (Cornell University)|2018. 11. 05.

Neural Networks and Applications참고 문헌 36인용 수 8

한 줄 요약

이 논문은 딥 네ural 네트워크의 히든 레이어에서 클래스 분리도를 정량화하는 비침습적 지표인 일반화된 차별도 값(GDV)을 도입한다. GDV는 분리도 역학에서 특징적인 '에너지 장벽'으로 인해 최적의 네트워크 깊이가 도출됨을 드러내며, 다양한 아키텍처 간에 GDV 곡선이 유니버설한 '주요 곡선'을 따름을 보여주어 자동 하이퍼파rameter 튜닝과 표현 학습에 대한 깊이 있는 통찰을 가능하게 한다.

ABSTRACT

Deep neural networks typically outperform more traditional machine learning models in their ability to classify complex data, and yet is not clear how the individual hidden layers of a deep network contribute to the overall classification performance. We thus introduce a Generalized Discrimination Value (GDV) that measures, in a non-invasive manner, how well different data classes separate in each given network layer. The GDV can be used for the automatic tuning of hyper-parameters, such as the width profile and the total depth of a network. Moreover, the layer-dependent GDV(L) provides new insights into the data transformations that self-organize during training: In the case of multi-layer perceptrons trained with error backpropagation, we find that classification of highly complex data sets requires a temporal {\em reduction} of class separability, marked by a characteristic 'energy barrier' in the initial part of the GDV(L) curve. Even more surprisingly, for a given data set, the GDV(L) is running through a fixed 'master curve', independently from the total number of network layers. Furthermore, applying the GDV to Deep Belief Networks reveals that also unsupervised training with the Contrastive Divergence method can systematically increase class separability over tens of layers, even though the system does not 'know' the desired class labels. These results indicate that the GDV may become a useful tool to open the black box of deep learning.

연구 동기 및 목표

• 딥 네럴 네트워크의 히든 레이어에서 클래스 분리도를 평가하기 위한 정량적 도구의 부족을 해결하기 위해.
• 개별 네트워크 레이어가 전체 분류 성능에 기여하는 방식을 이해하기 위해.
• 네트워크 깊이 및 너비 프로파일과 같은 자동 하이퍼파rameter 튜닝을 위한 방법을 개발하기 위해.
• 비지도 학습이 다양한 레이어에서 클래스 분리도를 체계적으로 향상시킬 수 있는지 조사하기 위해.
• 다양한 아키텍처와 데이터 세트 간의 표현 학습에서 유니버설한 패턴을 밝혀내기 위해.

제안 방법

• 일반화된 차별도 값(GDV)은 n차원 공간에서의 평균 내클러스터 변동성과 평균 간클러스터 간격의 차이로 정의되며, 전역 스케일링, 이동, 뉴런 순열에 대해 불변이 되도록 정규화된다.
• z-스코어화된 활성화 벡터와 클래스 레이블을 사용하여 훈련된 네트워크의 각 레이어에서 GDV를 계산함으로써 차원 축소 없이도 레이어 간 비교가 가능해진다.
• 표준 데이터 세트인 MNIST, CIFAR-10, Caltech-101을 사용하여 피드포워드 네트워크, LSTMs, CNNs 및 VGG19, InceptionV3와 같은 사전 훈련된 모델에 이 방법을 적용하였다.
• 랜덤 선형 변환과 비선형성(예: 로지스틱 함수)을 적용하여 GDV의 안정성과 아키텍처 변화에 대한 민감도를 테스트하였다.
• 압축과 표현 학습을 연구하기 위해 너비가 일정하거나 감소하는 프로파일을 가진 스택드 오토에인코더를 분석하기 위해 GDV를 사용하였다.
• GDV의 경험적 분포와 변환에 따른 변화를 분석하여 강건성과 최적화된 가중치에 의한 비자명한 향상 여부를 평가하였다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크의 히든 레이어에서 클래스 분리도는 훈련 중에 어떻게 변화하는가?
• RQ2 다양한 네트워크 깊이와 아키텍처 간에 GDV(L) 역학을 기술하는 단일한 유니버설한 '주요 곡선'이 존재하는가?
• RQ3 대비 수렴(Contrastive Divergence)을 사용한 비지도 사전 훈련이 딥 네트워크의 클래스 분리도를 얼마나 향상시킬 수 있는가?
• RQ4 GDV는 주어진 작업에 최적의 네트워크 깊이와 너비를 결정하는 데 어떻게 기여하는가?
• RQ5 차원 수 변화, 비선형성 등의 아키텍처 변형이 GDV로 측정된 클래스 분리도에 미치는 영향은 어떠한가?

주요 결과

• 백프로파게이션으로 훈련된 다층 퍼셉트론의 GDV(L) 곡선은 초반 레이어에서 특징적인 '에너지 장벽'을 보이며, 훈련 중 일시적인 클래스 분리도 감소를 나타낸다.
• 총 깊이의 변동에도 불구하고, 동일한 데이터 세트에 대해 다양한 네트워크 아키텍처 간에 고정된 '주요 곡선'을 따르며, 이는 표현 학습에서의 유니버설한 역학을 시사한다.
• MNIST 데이터 세트의 경우, 15층의 컨볼루션 네트워크에서 GDV(L) 곡선은 초기 감소, 플랫선, 최종 상승의 세 단계로 나뉘며, 분리도의 복잡한 진화를 나타낸다.
• IMDb 감성 데이터에서 훈련된 LSTMs에서는 GDV(L)가 깊이에 따라 단조롭게 감소하며, 더 깊은 레이어가 분류 능력을 상실할 수 있음을 시사한다.
• 사전 훈련된 모델인 VGG19와 InceptionV3는 후속 레이어에서 높은 GDV 값을 보이며, 최종 레이어에서는 일반적으로 감소하는 경향이 있는데, 이는 소프트맥스 레이어의 영향으로 인한 것으로 보인다.
• 스택드 오토에인코더에서 너비가 감소하는 아키텍처는 일정 너비보다 더 깊은 레이어에서 더 높은 GDV를 달성하여, 더 나은 압축과 표현 학습을 가능하게 한다.