[논문 리뷰] Information Bottleneck Theory on Convolutional Neural Networks

Junjie Li, Ding Liu|arXiv (Cornell University)|2019. 11. 09.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 6

한 줄 요약

이 논문은 MNIST 및 Fashion-MNIST에서 상호정보량(MI) 분석을 통해 컨볼루션 신경망(CNNs)에 정보병목 이론(IB) 이론의 적용 가능성을 조사한다. 피드포워드 네트워크와는 달리 CNNs에서 일관된 압축 단계가 관찰되지 않음을 발견하며, 이는 압축이 보편적인 학습 단계가 아님을 시사하며, 네트워크의 깊이, 커널 크기, 너비가 정보 수집 및 일반화 성능에 크게 영향을 미친다는 것을 강조한다.

ABSTRACT

Recent years, many researches attempt to open the black box of deep neural networks and propose a various of theories to understand it. Among them, Information Bottleneck (IB) theory claims that there are two distinct phases consisting of fitting phase and compression phase in the course of training. This statement attracts many attentions since its success in explaining the inner behavior of feedforward neural networks. In this paper, we employ IB theory to understand the dynamic behavior of convolutional neural networks (CNNs) and investigate how the fundamental features such as convolutional layer width, kernel size, network depth, pooling layers and multi-fully connected layer have impact on the performance of CNNs. In particular, through a series of experimental analysis on benchmark of MNIST and Fashion-MNIST, we demonstrate that the compression phase is not observed in all these cases. This shows us the CNNs have a rather complicated behavior than feedforward neural networks.

연구 동기 및 목표

• 정보병목(IB) 이론의 두 단계 학습 동역학(적합 및 압축)이 컨볼루션 신경망(CNNs)에 적용되는지 조사하기.
• 컨볼루션 레이어의 너비, 커널 크기, 깊이, 풀링 레이어, 다중 완전 연결 레이어와 같은 기본 아키텍처 구성 요소가 정보 흐름과 일반화에 어떻게 영향을 미치는지 분석하기.
• 이중 포화 비선형성(tanh 등)이 피드포워드 네트워크 연구에서 보고된 바와 같이 CNNs에서 압축 단계를 유도하는지 확인하기.
• 기준 데이터셋에서의 실험 분석을 통해 상호정보량(MI) 동역학과 모델의 일반화 성능 간의 관계 평가하기.

제안 방법

• 학습 에포크 동안 입력, 히든 레이어, 출력 간의 상호정보량(MI) 추정을 통해 정보 평면(IP) 궤적을 구성하기.
• 고차원 표현에서의 편향을 줄이고 안정성을 향상시키기 위해 행렬 기반의 Rényi 엔트로피 추정기 사용하여 MI 계산하기.
• 깊이, 커널 크기, 너비, 풀링, 완전 연결 레이어의 변화를 통제하여 MNIST 및 Fashion-MNIST에 표준 CNN 아키텍처 학습시키기.
• 레이어 및 학습 단계 간의 MI 동역학(I(X;T) 및 I(Y;T)) 분석하여 적합 및 압축 행동 탐지하기.
• 풀링 레이어 유무 및 다양한 비선형성(tanh 등)을 가진 네트워크를 비교하여 MI 변화에 미치는 영향 평가하기.
• 학습 중 MI 수렴 및 테스트 정확도 추적을 통해 일반화 성능 평가하기.

실험 결과

연구 질문

• RQ1 표준 CNNs에서 IB 이론이 정의한 압축 단계가 학습 과정 중에 나타나는가?
• RQ2 커널 크기, 깊이, 너비, 풀링과 같은 아키텍처 하이퍼파라미터가 CNNs의 상호정보량 동역학에 어떻게 영향을 미치는가?
• RQ3 CNNs에서 이중 포화 비선형성(tanh 등)을 사용할 경우 검출 가능한 압축 단계가 유도되는가?
• RQ4 풀링 레이어와 다중 완전 연결 레이어는 정보 수집 및 일반화에 얼마나 큰 영향을 미치는가?
• RQ5 CNNs에서 상호정보량 동역학과 모델 일반화 성능 간에 일관된 관계가 존재하는가?

주요 결과

• 이중 포화 비선형성(tanh 등)이 있는 경우조차도 표준 CNNs의 컨볼루션 레이어나 완전 연결 레이어에서 일관된 압축 단계를 관찰하지 못함.
• 컨볼루션 레이어는 입력에서 레이블로의 관련 정보의 거의 전부를 수집하며, 상호정보량(I(X;T))가 이론적 상한선에 가까움.
• 더 넓은 컨볼루션 레이어는 일반화 성능을 향상시키며, 좁은 아키텍처보다 더 적은 학습 에포크 내에 최적 성능에 도달할 수 있음.
• 큰 커널 크기와 더 깊은 네트워크는 초기에 정보 수집 효율을 향상시키지만, 너무 크거나 깊은 아키텍처는 동일한 MI 수준에 도달하기 위해 훨씬 더 많은 학습 에포크가 필요함.
• 풀링 레이어는 최종 레이어의 상호정보량(I(Y;T))를 약간 증가시켜 일반화에 약간의 긍정적 영향을 미치지만, 주요 요인은 아님.
• CNNs에서 보편적인 압축 단계가 관찰되지 않음은 압축이 딥러닝 일반화의 근본적 메커니즘이라는 개념을 도전함.