[논문 리뷰] Estimating Information Flow in Deep Neural Networks

Ziv Goldfeld, E. van den Berg외 5명|arXiv (Cornell University)|2018. 10. 12.

Adversarial Robustness in Machine Learning참고 문헌 22인용 수 20

한 줄 요약

이 논문은 딥 네URAL 네트워크 내 가우시안 믹스처에 대한 미분 엔트로피의 상한과 하한을 제안한다. 이는 모멘트 기반 근사와 공분산 구조를 활용하여 정보 흐름을 추정한다. 주요 기여는 구성 요소의 평균, 분산 및 믹스처 가중치로부터 유도된 엔트로피 한계를 사용하여 정보 전파를 정량화하는 새로운 분석 프레임워크를 제공하는 것이다.

ABSTRACT

We study the flow of information and the evolution of internal representations during deep neural network (DNN) training, aiming to demystify the compression aspect of the information bottleneck theory. The theory suggests that DNN training comprises a rapid fitting phase followed by a slower compression phase, in which the mutual information $I(X;T)$ between the input $X$ and internal representations $T$ decreases. Several papers observe compression of estimated mutual information on different DNN models, but the true $I(X;T)$ over these networks is provably either constant (discrete $X$) or infinite (continuous $X$). This work explains the discrepancy between theory and experiments, and clarifies what was actually measured by these past works. To this end, we introduce an auxiliary (noisy) DNN framework for which $I(X;T)$ is a meaningful quantity that depends on the network's parameters. This noisy framework is shown to be a good proxy for the original (deterministic) DNN both in terms of performance and the learned representations. We then develop a rigorous estimator for $I(X;T)$ in noisy DNNs and observe compression in various models. By relating $I(X;T)$ in the noisy DNN to an information-theoretic communication problem, we show that compression is driven by the progressive clustering of hidden representations of inputs from the same class. Several methods to directly monitor clustering of hidden representations, both in noisy and deterministic DNNs, are used to show that meaningful clusters form in the $T$ space. Finally, we return to the estimator of $I(X;T)$ employed in past works, and demonstrate that while it fails to capture the true (vacuous) mutual information, it does serve as a measure for clustering. This clarifies the past observations of compression and isolates the geometric clustering of hidden representations as the true phenomenon of interest.

연구 동기 및 목표

• 딥 네URAL 네트워크 내 가우시안 믹스처 모델에 대한 미분 엔트로피에 대한 분석적 한계를 개발하는 것.
• 모멘트 기반 근사를 사용하여 활성화 엔트로피를 추정함으로써 딥 네트워크 내 정보 흐름을 정량화하는 것.
• 혼합 구성 요소의 평균, 분산 및 가중치에 의존하는 계산 가능하고 해석 가능한 상한과 하한을 제공하는 것.
• 실험적 추정에 의존하지 않고도 딥 러닝 내 정보 전파에 대한 이론적 분석을 가능하게 하는 것.

제안 방법

• 혼합 구성 요소 가중치와 구성 요소 평균 간의 쌍별 거리를 사용하여 미분 엔트로피의 상한을 유도한다.
• $\beta = \sum_{i\in[n]} c_i \mu_i \mu_i^\top - \mu\mu^\top + \beta^2 I_d $로 정의된 공분산 행렬 구조를 사용한다. 여기서 $\mu = \sum_{i\in[n]} c_i \mu_i $이다.
• 정보 이론적 부등식을 적용하여 로그 행렬식 항과 혼합 구성 요소 엔트로피를 통해 엔트로피를 한정한다.
• 가중 엔트로피 항과 구성 요소 평균 간 기하적 거리가 포함된 경계 (5a), (5b), 및 (5c)를 수립한다.
• 딥 네URAL 네트워크 내 활성화의 분포를 근사하기 위해 가우시안 믹스처 모델 가정을 활용한다.
• 밀도 추정이 필요 없이 엔트로피를 추정하기 위해 모멘트 기반 근사를 도입한다.

실험 결과

연구 질문

• RQ1 혼합 구성 요소의 모멘트와 믹스처 가중치만을 사용하여 딥 네트워크 내 가우시안 믹스처의 미분 엔트로피를 어떻게 한정할 수 있는가?
• RQ2 딥 네URAL 네트워크 내 활성화 공분산 구조와 정보 흐름 간의 관계는 무엇인가?
• RQ3 몬테카를로 또는 밀도 추정에 의존하지 않고 날카운 분석적 엔트로피 한계를 도출할 수 있는가?
• RQ4 구성 요소 평균 간의 쌍별 거리가 전체 믹스처의 엔트로피에 어떻게 영향을 미치는가?
• RQ5 가중 공분산 행렬 $\beta$는 엔트로피 한계의 형태를 결정하는 데 어떤 역할을 하는가?

주요 결과

• 상한 (5a)는 혼합 구성 요소의 가중치와 분산에 기반한 닫힌 형식의 미분 엔트로피 표현을 제공한다.
• 상한 (5b)는 지수 감쇠 항을 통해 구성 요소 평균 간의 쌍별 거리를 통합함으로써 추정을 보완한다.
• 상한 (5c)는 공분산 행렬 $\beta$의 로그 행렬식을 통해 엔트로피를 표현하며, 이는 믹스처의 전체 산란도와 연결된다.
• 제안된 한계는 계산적으로 타당하며, 혼합 구성 요소의 1차 및 2차 모멘트에만 의존한다.
• 이 프레임워크는 엔트로피 한계를 통해 네트워크 활성화의 불확실성을 정량화함으로써 정보 흐름의 이론적 분석을 가능하게 한다.
• 이 한계는 임의의 가우시안 믹스처에 대해 유효하며, 딥 네트워크의 레이어 간 정보 전파 분석에 적용할 수 있다.