[논문 리뷰] The Role of Information Complexity and Randomization in Representation Learning

Matías Vera, Pablo Piantanida외 1명|arXiv (Cornell University)|2018. 02. 14.

Adversarial Robustness in Machine Learning참고 문헌 47인용 수 6

한 줄 요약

이 논문은 표현 학습에서 교차 엔트로피 손실에 대한 샘플에 의존하는 일반화 경계를 제안하며, 이 경계는 신경망 표현 간의 상호정보량(즉, 입력 X와 표현 U 간의 상호정보량 I(X;U))으로 정의된 정보 복잡도(IC)에 비례한다. 실험적으로 확률적 경사 하강법이 IC를 암묵적으로 최소화함을 보이고, 이론적으로 드롭아웃 정규화가 표현 용량을 감소시켜 일반화 성능 향상의 정보 이론적 해석을 제공한다.

ABSTRACT

A grand challenge in representation learning is to learn the different explanatory factors of variation behind the high dimen- sional data. Encoder models are often determined to optimize performance on training data when the real objective is to generalize well to unseen data. Although there is enough numerical evidence suggesting that noise injection (during training) at the representation level might improve the generalization ability of encoders, an information-theoretic understanding of this principle remains elusive. This paper presents a sample-dependent bound on the generalization gap of the cross-entropy loss that scales with the information complexity (IC) of the representations, meaning the mutual information between inputs and their representations. The IC is empirically investigated for standard multi-layer neural networks with SGD on MNIST and CIFAR-10 datasets; the behaviour of the gap and the IC appear to be in direct correlation, suggesting that SGD selects encoders to implicitly minimize the IC. We specialize the IC to study the role of Dropout on the generalization capacity of deep encoders which is shown to be directly related to the encoder capacity, being a measure of the distinguishability among samples from their representations. Our results support some recent regularization methods.

연구 동기 및 목표

• 딥 표현 학습에서 일반화의 정보 이론적 메커니즘을 이해하기 위해.
• 학습된 표현의 정보 복잡도(IC)에 따라 달라지는 일반화 갭에 대한 이론적 경계를 수립하기 위해.
• 드롭아웃이나 노이즈 주입과 같은 무작위 인코더가 일반화 능력에 어떻게 영향을 미치는지 조사하기 위해.
• SGD의 암묵적 정규화가 IC 최소화와 연결되어 있음을 보여주어 기존의 경험적 실천에 대한 이론적 기초를 제공하기 위해.

제안 방법

• 입력 X와 표현 U 간의 상호정보량 I(X;U)로 정의된 정보 복잡도(IC)에 비례하는 샘플에 의존하는 교차 엔트로피 손실에 대한 일반화 경계를 유도한다.
• McDiarmid의 부등식과 Pinsker의 부등식을 사용하여 경험적 추정에 기반한 엔트로피 및 상호정보량의 편차를 제한한다.
• MNIST와 CIFAR-10에서 SGD로 훈련된 다층 신경망에서 IC를 실험적으로 평가하고, IC와 일반화 갭 간의 상관관계를 분석한다.
• 드롭아웃을 분석하기 위해 IC 프레임워크를 특수화하여, 드롭아웃이 표현 간 구별 가능성의 제한으로써 인코더 용량을 감소시킴을 보인다.
• 진술의 대칭화와 농도 부등식을 적용하여 진짜 엔트로피와 경험적 엔트로피 간의 차이를 제한한다.
• 레마 15를 활용하여 표현 분포의 분산과 상호정보량 간의 관계를 설정함으로써, IC 기반 일반화 경계를 유도한다.

실험 결과

연구 질문

• RQ1 딥 네트워크에서 표현의 정보 복잡도(IC)는 일반화 갭과 어떻게 관련이 있는가?
• RQ2 입력과 표현 간의 상호정보량에 명시적으로 의존하는 일반화 갭에 대한 이론적 경계를 유도할 수 있는가?
• RQ3 확률적 경사 하강법은 훈련 과정에서 정보 복잡도(IC)를 암묵적으로 최소화하는가?
• RQ4 드롭아웃은 정보 이론적 측정을 통해 인코더의 용량을 어떻게 조절하는가?
• RQ5 표현 수준에서의 노이즈 주입은 잠재 공간 내 샘플 간의 구별 가능성에 어떻게 영향을 미치는가?

주요 결과

• 교차 엔트로피 손실에서의 일반화 갭은 정보 복잡도(IC)에 직접적으로 비례하는 것으로 실험적으로 확인되었으며, 이는 SGD가 일반화 성능 향상을 위해 IC를 암묵적으로 최소화함을 시사한다.
• MNIST와 CIFAR-10에서 여러 훈련 런에 걸쳐 IC와 일반화 갭 간의 상관관계가 강하고 일관되게 유지되어, IC의 암묵적 최소화 가설을 지지한다.
• 드롭아웃이 표현 간의 구별 가능성 제한으로 인코더 용량을 감소시킴을 보여주었으며, 이는 일반화 성능 향상 기여와 일치한다.
• 이론적 분석을 통해 상호정보량 I(X;U)가 일반화 갭을 제한함을 확인하였으며, IC가 낮을수록 더 날카운 경계를 도출할 수 있다.
• Pinsker의 부등식을 통해 표현 분포의 분산과 상호정보량 간의 관계를 설정함으로써, IC 기반 경계 유도가 가능하다.
• 실험 결과는 노이즈 주입이나 드롭아웃을 통해 IC를 감소시키면 일반화 오차가 낮아짐을 확인하였으며, 이는 이러한 기법들이 암묵적 정규화로 기능함을 뒷받침한다.