[논문 리뷰] Entropy and mutual information in models of deep neural networks

Marylou Gabrié, Andre Manoel외 5명|Infoscience (Ecole Polytechnique Fédérale de Lausanne)|2018. 05. 24.

Statistical Mechanics and Entropy인용 수 14

한 줄 요약

이 논문은 수직 불변 성분을 갖는 가중치 행렬을 가정할 때, 통계역학적 방법을 사용하여 딥 네ural 네트워크에서 엔트로피와 상호정보량을 계산할 수 있는 타당한 프레임워크를 제안한다. 적응형 통합 방법을 사용하여 가우시안 가중치를 갖는 이중층 네트워크에서 이러한 계산의 타당성을 엄밀히 증명하고, 합성 실험을 통해 이 설정에서 압축과 일반화 사이의 관계가 여전히 명확하지 않음을 보여준다.

ABSTRACT

We examine a class of deep learning models with a tractable method to compute information-theoretic quantities. Our contributions are three-fold: (i) We show how entropies and mutual informations can be derived from heuristic statistical physics methods, under the assumption that weight matrices are independent and orthogonally-invariant. (ii) We extend particular cases in which this result is known to be rigorously exact by providing a proof for two-layers networks with Gaussian random weights, using the recently introduced adaptive interpolation method. (iii) We propose an experiment framework with generative models of synthetic datasets, on which we train deep neural networks with a weight constraint designed so that the assumption in (i) is verified during learning. We study the behavior of entropies and mutual informations throughout learning and conclude that, in the proposed setting, the relationship between compression and generalization remains elusive.

연구 동기 및 목표

• 딥 네럴 네트워크에서 엔트로피와 상호정보량과 같은 정보이론적 양을 계산할 수 있는 타당한 방법을 개발하는 것.
• 비선형성과 고차원 가중치를 갖는 딥 러닝 모델에서 흔히 사용되는 히우리스틱 통계역학 공식의 엄밀한 기초를 마련하는 것.
• 압축(상호정보량을 통해 측정됨)이 딥 네트워크에서 일반화를 설명하는가를 제어된 합성 실험을 통해 조사하는 것.
• 이론적 예측을 제약된 가중치 행렬을 갖는 생성 모델에 대한 수치 실험을 통해 검증하는 것.

제안 방법

• 성분별 비선형성과 활성화에서 i.i.d. 노이즈를 갖는 스토케스틱 다층 피드포워드 신경망 모델을 사용한다.
• 수직 불변 성분을 갖는 가중치 행렬을 가정할 때, 통계역학의 복제 방법을 적용하여 엔트로피와 상호정보량에 대한 폐쇄형 표현식을 유도한다.
• 이중층 네트워크에 대해 복제 공식을 엄밀히 증명하기 위해 적응형 통합 방법을 사용한다.
• 학습 중에 수직 불변 성분을 갖는 가중치 행렬을 유지하기 위해 가중치 제약 조건을 도입하여 이론적 가정이 학습 전반에 걸쳐 유지되도록 한다.
• 제어된 상관관계를 갖는 합성 데이터셋을 구성하고, 이 제약 조건 하에서 딥 네트워크를 훈련시켜 정보 흐름을 연구한다.
• n₀ → ∞, nₗ / n₀ → αₗ 인 고차원 점근 분석을 수행하고, 측도 집중을 이용하여 경험적 추정치의 변동성을 제한한다.

실험 결과

연구 질문

• RQ1 비선형성과 고차원 설정에서 딥 네럴 네트워크에서 엔트로피와 상호정보량과 같은 정보이론적 양을 신뢰성 있게 계산할 수 있는가?
• RQ2 복제 방법이 딥 네트워크에서 상호정보량에 대해 예측하는 결과가, 가우시안 가중치를 갖는 이중층 모델에 대해 엄밀히 타당한가?
• RQ3 제어된 조건 하에서, 압축(층 간 상호정보량 감소로 측정됨)이 딥 네트워크의 일반화 성능과 상관관계가 있는가?
• RQ4 이론적 가정이 충족되는 조건에서, 훈련 중에 엔트로피와 상호정보량은 어떻게 변화하는가?

주요 결과

• 적응형 통합 방법을 사용하여, 가우시안 i.i.d. 가중치를 갖는 이중층 네트워크에서 딥 네트워크의 상호정보량과 엔트로피에 대한 복제 공식이 엄밀히 성립함을 증명하였다.
• 제약된 가중치 행렬을 갖는 합성 데이터셋에 대한 수치 실험에서, 복제 방법으로 유도된 이론적 예측이 정확함을 입증하였다.
• 이론적 가정을 충족함에도 불구하고, 훈련 중 상호정보량의 변화가 명백한 압축-일반화 관계를 보이지 않았다.
• 연구 결과, 이론적 가정이 충족되는 조건에서 훈련 중에 층 간 상호정보량이 일관되게 감소하지 않음을 발견하여, 압축이 일반화의 보편적 원인임이라는 개념에 도전하였다.
• 경험적 상호정보량 추정치의 분산은 농도 부등식을 통해 제어되었으며, 이는 수치 프레임워크의 안정성을 검증하였다.
• 이 프레임워크는 가중치 행렬의 구조가 수행하는 역할을 성공적으로 분리하였으며, 수직 불변 성분을 갖는 가중치가 정보이론적 양의 정확한 계산과 검증을 가능하게 함을 보여주었다.