[논문 리뷰] Layer-wise Learning of Stochastic Neural Networks with Information Bottleneck

Thành Tâm Nguyên, Jaesik Choi|arXiv (Cornell University)|2017. 12. 04.

Adversarial Robustness in Machine Learning참고 문헌 39인용 수 9

한 줄 요약

이 논문은 정보 병목 원리의 다중 병목 확장인 정보 다중병목(IMBs)을 제안하여, 확률적 신경망의 각 층에서 압축과 관련성 간의 트레이드오프를 명시적으로 최적화한다. 각 층을 학습 가능한 매개변수를 가진 별개의 병목으로 간주함으로써, IMBs는 MNIST 및 CIFAR10에서 최대우도추정(MLE)보다 분류 정확도와 적대적 공격에 대한 강건성에서 뛰어난 성능을 보이며, 깊이 있는 표현에서 정보를 더 효과적으로 활용함을 입증한다.

ABSTRACT

Information Bottleneck (IB) is a generalization of rate-distortion theory that naturally incorporates compression and relevance trade-offs for learning. Though the original IB has been extensively studied, there has not been much understanding of multiple bottlenecks which better fit in the context of neural networks. In this work, we propose Information Multi-Bottlenecks (IMBs) as an extension of IB to multiple bottlenecks which has a direct application to training neural networks by considering layers as multiple bottlenecks and weights as parameterized encoders and decoders. We show that the multiple optimality of IMB is not simultaneously achievable for stochastic encoders. We thus propose a simple compromised scheme of IMB which in turn generalizes maximum likelihood estimate (MLE) principle in the context of stochastic neural networks. We demonstrate the effectiveness of IMB on classification tasks and adversarial robustness in MNIST and CIFAR10.

연구 동기 및 목표

• 깊은 신경망에서 원칙적이고 층 단위의 압축과 관련성 최적화의 부족을 해결하기 위해.
• 정보 병목 원리를 다중 병목으로 확장하여 각 신경망 층을 독립적인 병목으로 모델링하기 위해.
• 확률적 신경망에서 최대우도추정(MLE) 원리에 대한 이론적으로 타당한 대안을 제공하기 위해.
• IMBs가 MLE보다 숨겨진 표현에서 정보를 더 효과적으로 활용하는지 경험적으로 검증하기 위해.
• 명시적이고 층 단위의 정보 트레이드오프 최적화를 통해 일반화 능력과 적대적 강건성을 향상시키기 위해.

제안 방법

• 정보 병목(IB) 원리를 다중 병목으로 확장하여, 각 층의 표현과 입력 간 상호정보량(압축)과 각 층과 타겟 간 상호정보량(관련성)을 균형 잡는 라그랑주 함수로 IMB를 정의한다.
• 각 신경망 층을 확률적 인코더와 디코더로 모델링하며, 조건부 분포 p(z_l|x)와 p(y|z_l)를 정의하는 매개변수를 가진다.
• 비모수 추론을 사용하여 계산이 불가능한 상호정보량 항 I(Z_l;X)와 I(Z_l;Y)를 변분 경계를 통해 근사한다.
• 기울기 추정 기법을 적용하여 IMB 목적함수의 변분 하한을 최적화함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 확률적 인코더에서 다중 병목 간 상충되는 최적성 문제를 다루기 위해 손상된 학습 기법을 도입한다.
• 각 층에 대해 별도의 β_l를 가진 다단계 학습 목적함수를 사용하여, 각 층에서 압축과 관련성을 균형 잡는다.

실험 결과

연구 질문

• RQ1 정보 병목 원리는 깊이 있는 신경망에서 다중 병목으로 의미 있게 확장될 수 있는가?
• RQ2 확률적 신경망에서 모든 층에서 동시에 최적의 압축과 관련성 트레이드오프를 달성할 수 있는가?
• RQ3 IMB 목적함수는 표현 학습 품질과 후행 성능 측면에서 MLE와 비교해 어떻게 다를까?
• RQ4 명시적인 층 단위의 정보 최적화가 일반화 능력과 적대적 강건성을 향상시키는가?
• RQ5 IMB와 MLE에서 훈련 중 층 간 상호정보량 역학은 각각 어떤 역할을 하는가?

주요 결과

• IMBs는 MNIST 및 CIFAR10에서 MLE보다 높은 분류 정확도를 달성하며, 적대적 공격에 대한 강건성에서도 일관된 향상을 보였다.
• IMB로 훈련된 네트워크의 표현에서 관련성(I(Z_l;Y))가 MLE보다 더 빠르게 증가하고 더 높은 값에 안정화되며, 더 효과적인 정보 활용을 나타낸다.
• IMB로 훈련된 네트워크의 압축(I(Z_l;X))는 더 강한 '굽어짐' 효과를 보이며, MLE보다 더 효과적이고 명시적인 압축을 의미한다.
• MLE 목적함수의 경우 훈련 초반에 국소 최소값에 도달하여 표현이 최적의 정보 트레이드오프에 도달하지 못하지만, IMB는 층 전체를 통해 표현을 지속적으로 개선한다.
• IMB는 깊이 있는 층에서 더 높은 관련성과 더 효과적인 압축을 유지함으로써 계층적 표현 학습의 더 나은 활용을 가능하게 한다.
• IMB 목적함수의 변분 근사는 특히 초기 훈련 단계에서 MLE보다 더 안정적이고 정보량이 풍부한 표현 학습 과정을 이끌어낸다.