[논문 리뷰] How (Not) To Train Your Neural Network Using the Information Bottleneck Principle.

Rana Ali Amjad, Bernhard C. Geiger|arXiv (Cornell University)|2018. 02. 27.

Stochastic Gradient Optimization Techniques인용 수 21

한 줄 요약

이 논문은 결정론적 네트워크에서 정보 버블링(IB) 원리를 통한 딥 네ural 네트워크 훈련이 근본적으로 결함이 있음을 보여준다. 왜냐하면 IB 기능이 거의 모든 가중치 행렬에서 무한대가 되고 이중사상에 대해 불변이기 때문이며, 이는 최적화 문제를 정의할 수 없게 하고 분류 작업에서 핵심 성질을 포착하지 못하게 하기 때문이다. 저자들은 오직 스토하스틱 네트워크 또는 수정된 비용 함수만이 이러한 문제를 해결할 수 있으며, 이는 최근 IB 성공 사례가 IB 프레임워크 자체가 아니라 이러한 적응 조치 덕분이란 것을 시사한다.

ABSTRACT

In this theory paper, we investigate training deep neural networks (DNNs) for classification via minimizing the information bottleneck (IB) functional. We show that, even if the joint distribution between continuous feature variables and the discrete class variable is known, the resulting optimization problem suffers from two severe issues: First, for deterministic DNNs, the IB functional is infinite for almost all weight matrices, making the optimization problem ill-posed. Second, the invariance of the IB functional under bijections prevents it from capturing desirable properties for classification, such as robustness, architectural simplicity, and simplicity of the learned representation. We argue that these issues are partly resolved for stochastic DNNs, DNNs that include a (hard or soft) decision rule, or by replacing the IB functional with related, but more well-behaved cost functions. We conclude that recent successes reported about training DNNs using the IB framework must be attributed to such solutions. As a side effect, our results imply limitations of the IB framework for the analysis of DNNs.

연구 동기 및 목표

• 딥 네럴 네트워크를 정보 버블링(IB) 기능 최소화를 통해 훈련시키는 가능성 탐구.
• 결정론적 딥 네럴 네트워크에 IB 원리를 적용할 때 발생하는 이론적 핵심 문제 규명.
• IB 기능이 분류 작업에서 바람직한 성질인 강건성과 표현 단순성 등을 포착하지 못하는 이유 분석.
• 스토하스틱성 또는 대체 비용 함수가 IB 프레임워크의 한계를 해결할 수 있는지 탐색.
• 이론적 한계가 존재하는 바에 따라 IB 프레임워크가 딥 네럴 네트워크 훈련 분석에서 수행하는 역할 명확화

제안 방법

• 연속적 특징과 이산적 클래스 간 알려진 결합 분포 하에서 IB 기능 분석.
• 결정론적 DNN에서 거의 모든 가중치 행렬에 대해 IB 기능이 무한대가 되며 최적화 문제가 정의되지 않음을 증명.
• 네트워크 가중치에 대한 이중사상 변환에 대해 IB 기능이 불변임을 입증하여 의미 있는 인덕티브 바이어스를 강제하는 능력을 약화시킴.
• DNN에서의 스토하스틱성, 예를 들어 하드 또는 소프트 결정 규칙이 IB 최적화 문제의 정의 가능성에 미치는 영향 평가.
• DNN 훈련을 위한 표준 IB 기능보다 더 잘 행동하는 대체 비용 함수 제안.
• 이론적 분석을 통해 최적화 안정성과 인덕티브 바이어스 측면에서 IB 기능과 그 수정된 변형 간 비교

실험 결과

연구 질문

• RQ1 왜 결정론적 딥 네럴 네트워크에서 정보 버블링 기능이 무한대가 되는가?
• RQ2 IB 기능이 이중사상에 대해 불변일 경우, 강건하고 단순한 표현을 학습하는 데 어떤 영향을 미치는가?
• RQ3 딥 러닝에서 IB 프레임워크가 잘 정의된 최적화를 제공하기 위해 충족해야 할 조건은 무엇인가?
• RQ4 신경망의 스토하스틱성이 IB 접근의 이론적 결함을 해결할 수 있는가?
• RQ5 최근 IB 기반 훈련에서의 성공은 표준 IB 기능을 초월한 수정 조치에 얼마나 의존하는가?

주요 결과

• 결정론적 딥 네럴 네트워크에서 거의 모든 가중치 행렬에 대해 정보 버블링 기능이 무한대가 되어 최적화 문제가 정의되지 않는다.
• IB 기능은 네트워크 가중치에 대한 이중사상 변환에 대해 불변이므로 아키텍처의 단순성이나 강건성을 포착하지 못한다.
• 특히 하드 또는 소프트 결정 규칙을 가진 스토하스틱 딥 네럴 네트워크는 IB 기능의 정의되지 않는 문제와 불변성 문제를 해결한다.
• 보고된 IB 기반 훈련 방법의 성공은 IB 원리 자체보다는 스토하스틱성 또는 대체 비용 함수의 사용 덕분일 가능성이 높다.
• 특히 결정론적 설정에서 딥 네럴 네트워크 분석이나 훈련에 있어 표준 IB 프레임워크는 근본적으로 한계가 있다.
• IB 기능보다 더 잘 행동하는 대체 비용 함수가 안정적이고 의미 있는 훈련을 위해 필요하다.