[논문 리뷰] An Information-Theoretic View for Deep Learning

Jingwei Zhang, Tongliang Liu외 1명|arXiv (Cornell University)|2018. 04. 24.

Machine Learning and Algorithms참고 문헌 20인용 수 21

한 줄 요약

이 논문은 딥 러닝 일반화를 분석하기 위한 정보이론적 프레임워크를 제안하며, 훈련 데이터와 모델 가중치 간의 상호정보량 감소로 인해 정보 손실 층(예: 컨볼루션 및 풀링 층)의 수가 증가할수록 기대 일반화 오차가 지수적으로 감소함을 보여준다. 주요 기여는 일반화 오차에 대한 날카운 상한을 제시함으로써, 과도한 오버피팅 위험이 있는 상황에서도 더 깊은 네트워크가 일반화 성능이 더 좋을 수 있음을 설명한다.

ABSTRACT

Deep learning has transformed computer vision, natural language processing, and speech recognition\cite{badrinarayanan2017segnet, dong2016image, ren2017faster, ji20133d}. However, two critical questions remain obscure: (1) why do deep neural networks generalize better than shallow networks; and (2) does it always hold that a deeper network leads to better performance? Specifically, letting $L$ be the number of convolutional and pooling layers in a deep neural network, and $n$ be the size of the training sample, we derive an upper bound on the expected generalization error for this network, i.e., \begin{eqnarray*} \mathbb{E}[R(W)-R_S(W)] \leq \exp{\left(-\frac{L}{2}\log{\frac{1}η} ight)}\sqrt{\frac{2σ^2}{n}I(S,W) } \end{eqnarray*} where $σ>0$ is a constant depending on the loss function, $0

연구 동기 및 목표

• 깊은 신경망이 높은 용량을 지닌 상태에서도 얕은 네트워크보다 일반화 성능이 더 좋은 이유를 이론적으로 설명하기 위해.
• '더 깊은 것이 더 좋다'는 히ュ리스틱을 도전하며, 더 깊은 네트워크가 항상 더 나은 성능을 내는지 조사하기 위해.
• 상호정보량을 사용하여 층 간의 정보 손실과 일반화 오차 사이의 연결 고리를 설정하기 위해.
• 정보이론적 원리에 기반한 딥 러닝의 안정성과 샘플 복잡도를 분석하기 위해.
• 딥 아키텍처에서 일반화와 훈련 오차 간의 트레이드오프를 이해하기 위한 이론적 기반을 제공하기 위해.

제안 방법

• 훈련 데이터 S와 학습된 가설 W 간의 상호정보량 I(S, W)를 사용하여 기대 일반화 오차에 대한 상한을 유도한다.
• 정보 감소를 모델링하기 위해 η < 1인 계층별 정보 손실 요소 η를 도입한다. 이는 컨볼루션 및 풀링 층에서 발생하는 정보 감소를 설명한다.
• 집중 부등식과 정보이론적 상한을 적용하여 일반화 오차를 네트워크 깊이 L과 데이터 크기 n과 연결한다.
• 딥 네트워크의 마르코프 체인 구조를 활용해 정보 손실을 계층을 거쳐 전파시키며, 이로 인해 일반화 오차가 지수적으로 감소함을 도출한다.
• 일반화 성능와 연결된 평균 일괄 교체 가설 안정성이라는 약한 안정성 개념을 수립한다.
• 노이즈가 있는 SGD와 이진 분류 조건 하에서의 학습 가능성과 샘플 복잡도 상한을 유도한다.

실험 결과

연구 질문

• RQ1 깊은 신경망은 높은 용량을 지닌 상태에서도 얕은 네트워크보다 일반화 성능이 더 좋은 이유는 무엇인가요?
• RQ2 네트워크 깊이를 늘일수록 항상 일반화 성능이 향상되는가, 아니면 훈련 오차와의 트레이드오프가 존재하는가요?
• RQ3 컨볼루션 및 풀링 층에서의 정보 손실은 기대 일반화 오차에 어떤 영향을 미치는가요?
• RQ4 정보이론적 원리에 기반해 딥 러닝이 어떤 형태의 알고리즘 안정성을 만족하는지 입증할 수 있는가요?
• RQ5 노이즈가 있는 SGD와 이진 분류 조건 하에서 딥 러닝의 샘플 복잡도는 얼마이며, 깊이에 따라 어떻게 변화하는가요?

주요 결과

• 기대 일반화 오차는 정보 손실 층의 수에 따라 지수적으로 감소하며, exp(−(L/2) log(1/η)) × √(2σ²/n × I(S,W))로 상한이 제시된다.
• 컨볼루션 및 풀링 층과 같은 층에서의 정보 손실은 일반화 오차를 감소시키며, 이는 깊은 아키텍처의 성공에 대한 이론적 근거를 제공한다.
• 작은 일반화 오차에도 불구하고, 정보 손실이 데이터 피팅을 해칠 경우 더 깊은 네트워크는 큰 기대 경험 위험을 가질 수 있으며, 이는 '더 깊은 것이 더 좋다'는 주장이 낮은 훈련 오차를 기반으로 함을 설명한다.
• 딥 러닝은 평균 일괄 교체 가설 안정성이라는 약한 안정성 개념을 만족하며, 이는 단일 샘플의 변화에 대한 강건성을 의미한다.
• 노이즈가 있는 SGD 조건 하에서 딥 러닝은 샘플 복잡도 O(1/√n)로 학습 가능하며, 이진 분류의 경우 샘플 복잡도 ˜O(√(d̂/n))로 학습 가능하다.
• 상호정보량 I(S,W)는 네트워크 깊이, 일반화, 알고리즘 안정성과 연결하는 핵심 제어 변수로 기능한다.