[논문 리뷰] Opening the Black Box of Deep Neural Networks via Information

Ravid Shwartz-Ziv, Naftali Tishby|arXiv (Cornell University)|2017. 03. 02.

Neural Networks and Applications참고 문헌 17인용 수 800

한 줄 요약

이 논문은 정보 평면에서 DNN을 시각화하여 SGD 역학을 밝히고, 두 가지 단계(ERM과 압축), 계층의 IB 경계 수렴, 그리고 추가 은닉층의 상당한 계산 이점을 보여준다.

ABSTRACT

Despite their great success, there is still no comprehensive theoretical understanding of learning with Deep Neural Networks (DNNs) or their inner organization. Previous work proposed to analyze DNNs in the extit{Information Plane}; i.e., the plane of the Mutual Information values that each layer preserves on the input and output variables. They suggested that the goal of the network is to optimize the Information Bottleneck (IB) tradeoff between compression and prediction, successively, for each layer. In this work we follow up on this idea and demonstrate the effectiveness of the Information-Plane visualization of DNNs. Our main results are: (i) most of the training epochs in standard DL are spent on {\emph compression} of the input to efficient representation and not on fitting the training labels. (ii) The representation compression phase begins when the training errors becomes small and the Stochastic Gradient Decent (SGD) epochs change from a fast drift to smaller training error into a stochastic relaxation, or random diffusion, constrained by the training error value. (iii) The converged layers lie on or very close to the Information Bottleneck (IB) theoretical bound, and the maps from the input to any hidden layer and from this hidden layer to the output satisfy the IB self-consistent equations. This generalization through noise mechanism is unique to Deep Neural Networks and absent in one layer networks. (iv) The training time is dramatically reduced when adding more hidden layers. Thus the main advantage of the hidden layers is computational. This can be explained by the reduced relaxation time, as this it scales super-linearly (exponentially for simple diffusion) with the information compression from the previous layer.

연구 동기 및 목표

• 정확도 지표를 넘어 심층 신경망에서 학습 역학에 대한 이해를 자극한다.
• 입력과 출력 간의 상호정보를 통해 표현을 조사하여 계층이 정보를 어떻게 압축하는지 식별한다.
• 학습된 표현이 계층 전반에서 정보 병목(IB) 경계로 수렴함을 보여준다.
• 학습 속도 향상에 있어 은닉층의 계산상의 이점과 역할을 평가한다.

제안 방법

• 각 계층을 P(T|X) 인코더와 P(Y|T) 디코더를 가진 단일 확률 변수로 간주한다.
• 정보 평면을 구성하기 위해 각 계층에 대해 I(X;T)와 I(T;Y)를 플롯하고 분석한다.
• 완전 연결 네트워크에서 교차 엔트로피 손실로 SGD를 사용하여 학습 단계를 연구한다.
• 두 가지 SGD 구동 단계: 경험적 오차 최소화(ERM) 단계와 표현 압축(확산) 단계를 특징짓는다.
• 수렴된 계층을 IB 자기 일관 방정식과 비교하고 인코더-디코더 관계를 통해 IB 최적성을 검사한다.
• 수렴 속도와 확산 역학에 대한 은닉층 추가의 계산적 영향을 검토한다.

실험 결과

연구 질문

• RQ1 훈련 중에 DNN 계층이 정보 평면에서 예측 가능한 궤적을 보이는가?
• RQ2 SGD 역학은 어떻게 ERM과 압축 단계로 구분되며 무엇이 이를 주도하는가?
• RQ3 수렴된 계층이 정보 병목의 자기 일관 방정식을 만족하는가?
• RQ4 추가 은닉층이 학습 속도 및 표현 압축 측면에서 어떤 계산 이점을 제공하는가?
• RQ5 다양한 학습 데이터 크기에서 계층이 IB 최적 표현에 얼마나 근접하는가?

주요 결과

• 학습은 두 단계로 진행된다: 라벨에 대한 정보를 증가시키는 초기 ERM 단계가 있고, 이어 입력에 대한 정보를 감소시키는 더 긴 압축 단계가 있다.
• 수렴된 계층은 정보 병목 bound 위에 있거나 근처에 있으며 그 자기 일관 방정식을 만족한다.
• 은닉층은 더 빠른 압축을 가능하게 하여 좋은 일반화에 필요한 학습 에포크 수를 크게 줄이고, 사실상 계산상의 이점을 제공한다.
• SGD 중의 압축은 확산처럼 작동하며 가중치 업데이트는 훈련 오차에 의해 제한된 Wiener 과정에 비유되며 엔트로피 최대화로 이어진다.
• 최종 표현은 네트워크 전반에 걸쳐 매우 확률적이며 다양하고, 많은 서로 다른 네트워크가 거의 최적 성능에 도달한다.
• 계층은 IB 곡선의 임계 영역 근처의 점으로 수렴하는 경향이 있으며, 위상 전이 근처의 임계 지연 현상과 일치한다.