[논문 리뷰] Adaptive Estimators Show Information Compression in Deep Neural Networks

Ivan Chelombiev, Conor Houghton외 1명|arXiv (Cornell University)|2019. 02. 24.

Neural Networks and Applications인용 수 8

한 줄 요약

이 논문은 비포화 활성화 함수를 사용하는 딥 네ural 네트워크에서 정보 압축을 드러내는 적응형 상호정보 추정 기법을 소개한다—이전에는 압축이 없을 것으로 여겨졌던 분야이다. 주요 발견은 일반화와 관련이 있는 압축이 오직 최종 소프트맥스 레이어에서만 발생하며, L2 정규화가 레이어 전반에 걸쳐 압축을 강하게 증가시킨다는 것이다.

ABSTRACT

To improve how neural networks function it is crucial to understand their learning process. The information bottleneck theory of deep learning proposes that neural networks achieve good generalization by compressing their representations to disregard information that is not relevant to the task. However, empirical evidence for this theory is conflicting, as compression was only observed when networks used saturating activation functions. In contrast, networks with non-saturating activation functions achieved comparable levels of task performance but did not show compression. In this paper we developed more robust mutual information estimation techniques, that adapt to hidden activity of neural networks and produce more sensitive measurements of activations from all functions, especially unbounded functions. Using these adaptive estimation techniques, we explored compression in networks with a range of different activation functions. With two improved methods of estimation, firstly, we show that saturation of the activation function is not required for compression, and the amount of compression varies between different activation functions. We also find that there is a large amount of variation in compression between different network initializations. Secondary, we see that L2 regularization leads to significantly increased compression, while preventing overfitting. Finally, we show that only compression of the last layer is positively correlated with generalization.

연구 동기 및 목표

• 비포화 활성화 함수(예: ReLU)를 사용하는 네트워크에서 정보 압축이 없을 것이라 믿어왔던 이전의 정황에 대한 갈등을 해결하기 위해.
• 다양한 은닉 활성도 분포에 민감하게 반응하는 더 견고하고 적응형 상호정보 추정 방법을 개발하기 위해, 특히 유계가 아닌 활성화 함수에 대해.
• 다양한 활성화 함수, 네트워크 초기화, 정규화 기법에서 정보 압축이 발생하는지 조사하기 위해.
• 압축과 일반화 성능 간의 관계를 규명하기 위해, 특히 개별 네트워크 레이어 수준에서.

제안 방법

• 은닉 레이어 활성도의 분포에 적응하는 새로운 커널 밀도 추정(KDE) 및 박스 기반 상호정보 추정기법을 제안하여, 비포화 함수에 대한 민감도를 향상시킴.
• 차등 엔트로피와 상호정보를 근사하기 위해 추가 노이즈와 박스 기반 방법을 사용하여, 결정론적 DNN에서 무한대 값이 발생하는 것을 방지함.
• 압축 점수 지표를 도입: $\text{Score} = \frac{1}{N}\sum_{k=1}^{N}(1 - l_{k,M}/\max_{i\in\mathit{E}}(\mathbf{L}_{k,i}))$, 여기서 $\mathbf{L}$ 은 레이어와 에포크 전역의 $I(T,X)$ 값들을 포함함.
• 다양한 활성화 함수(ReLU, 소프트플러스, ELU 등)를 사용한 완전 연결 네트워크를 여러 랜덤 초기화와 함께, L2 정규화 유무에 관계없이 훈련함.
• 추정된 $I(T,X)$ 와 $I(T,Y)$ 를 사용해 정보 평면에서 훈련 동역학을 시각화하고, 에포크 수준에서 변화를 추적함.
• 50개의 네트워크 초기화에 걸쳐 레이어별 압축 점수와 테스트 정확도를 상관 분석하여 일반화와의 연관성을 평가함.

실험 결과

연구 질문

• RQ1 이전 연구 결과와는 달리, 비포화 활성화 함수(예: ReLU)를 사용하는 딥 네트워크에서 정보 압축이 실제로 발생하는가?
• RQ2 네트워크 초기화가 레이어 전반에 걸친 정보 압축의 정도와 존재 여부에 어떤 영향을 미치는가?
• RQ3 L2 정규화가 은닉 레이어에서 정보 압축을 유도하거나 강화하는 정도는 어느 정도인가?
• RQ4 은닉 레이어의 개별 압축과 일반화 성능 간에 상관관계가 있는가?
• RQ5 어느 레이어에서 압축과 테스트 정확도 사이에 유의미한 관계가 나타나는가?

주요 결과

• 적응형 상호정보 추정은 비포화 활성화 함수(예: ReLU)를 사용하는 네트워크에서도 정보 압축이 발생함을 드러내며, 이는 이전 연구에서 포화가 필요하다고 주장한 바와 정면으로 배치됨.
• 압축 정도는 다양한 활성화 함수에 따라 크게 달라지며, 기능 형태가 유사한 소프트플러스와 중심화된 소프트플러스도 압축 점수에서 상이한 결과를 보임.
• 압축은 네트워크 초기화에 매우 민감하며, 일부 초기화에서는 조기 훈련 단계부터 강한 압축을 보이지만, 다른 초기화에서는 거의 또는 전혀 압축이 없음.
• L2 정규화는 레이어 전반에 걸쳐 압축을 크게 증가시키며, 정보 평면 상에서 상호정보가 한 점에 집중되는 경향을 보여 강력한 압축을 의미함.
• 오직 최종 소프트맥스 레이어의 압축만 통계적으로 유의미한 정적 상관관계를 보이며, 은닉 레이어의 압축은 테스트 성능과 상관관계 없음.
• 정보 브로크릿 모델이 네트워크 전반에 균일하게 적용되지 않음; 일반화의 원동력은 은닉 레이어의 압축이 아니라 오직 마지막 레이어의 압축과 관련이 있음.