[논문 리뷰] Unpacking Information Bottlenecks: Unifying Information-Theoretic Objectives in Deep Learning

Andreas Kirsch, Clare Lyle외 1명|arXiv (Cornell University)|2020. 03. 27.

Adversarial Robustness in Machine Learning참고 문헌 57인용 수 10

한 줄 요약

이 논문은 복잡한 상호정보 추정기 대신 계산이 용이한 대체 목적함수를 도입하여 딥 뉴럴 네트워크에서 정보이론적 목적함수를 통합한다. 노이즈 정규화를 통한 디코더 불확실성과 역디코더 불확실성을 활용함으로써, ResNet과 같은 현대 DNN 아키텍처를 MNIST, CIFAR-10, Imagenette에서 효과적으로 훈련시킬 수 있으며, 밀도 추정이나 복잡한 추정기 없이도 기존 IB 기반 방법과 비교해도 성능이 유사하거나 뛰어나다.

ABSTRACT

The Information Bottleneck principle offers both a mechanism to explain how deep neural networks train and generalize, as well as a regularized objective with which to train models. However, multiple competing objectives are proposed in the literature, and the information-theoretic quantities used in these objectives are difficult to compute for large deep neural networks, which in turn limits their use as a training objective. In this work, we review these quantities and compare and unify previously proposed objectives, which allows us to develop surrogate objectives more friendly to optimization without relying on cumbersome tools such as density estimation. We find that these surrogate objectives allow us to apply the information bottleneck to modern neural network architectures. We demonstrate our insights on MNIST, CIFAR-10 and Imagenette with modern DNN architectures (ResNets).

연구 동기 및 목표

• 현대 딥 뉴럴 네트워크에 정보보틀넥킷(Information Bottleneck, IB) 목적함수를 적용할 때 발생하는 모순과 계산적 과제를 해결하기 위해.
• 디코더 불확실성과 역디코더 불확실성이라는 두 핵심 정보량을 식별함으로써 경쟁적인 IB 목적함수를 통합하기 위해.
• 표준 딥 뉴럴 네트워크 최적화와 호환되며 계산이 효율적인 대체 목적함수를 개발하기 위해.
• 이러한 대체 목적함수가 복잡한 상호정보 추정을 필요로 하지 않고도 기존 IB 방법과 유사하거나 뛰어난 성능을 달성할 수 있음을 입증하기 위해.
• 연속형 잠재공간에서 미분 엔트로피 최적화의 안정성을 높이기 위해 노이즈의 역할을 명확히 하기 위해.

제안 방법

• 디코더 불확실성 H(Y|Z)를 주 손실로, 역디코더 불확실성 H(Z|Y)를 정규화 항으로 사용하는 통합된 IB 목적함수를 제안한다.
• 미분 엔트로피 추정의 안정성과 병적인 최적화 행동 방지를 위해 잠재 표현에 노이즈를 주입한다.
• 드롭아웃 정규화 하에서 표준 교차 엔트로피 손실과 정확히 일치하는 H(Y|Z)에 대한 계산이 용이한 상한을 유도한다.
• 노이즈가 주입된 특징 벡터에 대한 L2 정규화를 H(Z|Y)의 대체함수로 사용하여 엔드 투 엔드 훈련을 가능하게 한다.
• 드롭아웃과 가우시안 노이즈를 사용해 평균과 분산의 명시적 파rameterization 없이도 변동성 추론을 암묵적으로 근사한다.
• 이미지 분류 벤치마크에서 ResNet18과 MLP와 같은 표준 DNN 아키텍처를 사용해 대체 목적함수의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 정보보틀넥킷 원리에서 경쟁적인 정보이론적 목적함수를 단일이고 일관된 프레임워크로 통합할 수 있는가?
• RQ2 밀도 추정에 의존하지 않고도 딥 러닝에서 계산이 불가능한 상호정보 항을 대체할 수 있는 대체 목적함수는 무엇인가?
• RQ3 연속형 잠재공간에서의 미분 엔트로피가 최적화 병리를 유발하는 이유는 무엇이며, 어떻게 안정화할 수 있는가?
• RQ4 간단하고 미분 가능한 IB 목적함수의 대체함수는 현대 DNN에서 복잡한 IB 기반 방법과 유사하거나 뛰어난 성능을 달성할 수 있는가?
• RQ5 노이즈는 연속형 IB 목적함수에서 잠재 표현의 의미 있는 정규화를 보장하는 데 어떤 역할을 하는가?

주요 결과

• 드롭아웃 정규화 하에서 표준 교차 엔트로피 손실과 정확히 일치하는 H(Y|Z)에 대한 상한은 이론적 근거를 제공하며, 이는 그 사용에 대한 정당성을 뒷받침한다.
• 노이즈 주입이 훈련 중에 미분 엔트로피가 무한히 감소하는 것을 방지하여 최적화를 안정화시키고 일반화 성능을 향상시킨다.
• 노이즈가 주입된 특징 벡터에 대한 L2 정규화는 H(Z|Y)를 효과적으로 근사하며, 명시적 밀도 추정이 필요 없음을 보여준다.
• 이 방법은 ResNet18과 같은 현대 아키텍처를 CIFAR-10과 Imagenette에서 효과적으로 적용할 수 있게 하며, 정보 평면도에서 명확한 압축-일반화 트레이드오프가 관찰된다.
• 저자들은 DVIB의 하이퍼파ram터 β는 제안된 대체 목적함수의 γ와 직접 비교할 수 없으며, DVIB의 고정된 단위 가우시안 사전분포가 제안된 방법에 비해 더 낮은 유연성을 가진다는 것을 입증한다.