[논문 리뷰] Information-theoretic analysis of generalization capability of learning algorithms

Aolin Xu, Maxim Raginsky|arXiv (Cornell University)|2017. 05. 22.

Stochastic Gradient Optimization Techniques참고 문헌 9인용 수 102

한 줄 요약

이 논문은 입력 S와 출력 W 사이의 상호 정보량을 통해 학습 일반화 오차의 상한을 도출하고, 과적합을 제어하기 위한 정보 이론적 정규화 방법(Gibbs 및 노이즈 ERM)을 제안한다.

ABSTRACT

We derive upper bounds on the generalization error of a learning algorithm in terms of the mutual information between its input and output. The bounds provide an information-theoretic understanding of generalization in learning problems, and give theoretical guidelines for striking the right balance between data fit and generalization by controlling the input-output mutual information. We propose a number of methods for this purpose, among which are algorithms that regularize the ERM algorithm with relative entropy or with random noise. Our work extends and leads to nontrivial improvements on the recent results of Russo and Zou.

연구 동기 및 목표

• 학습 문제에서 일반화에 대한 정보 이론적 이해를 제공한다.
• 일반화 오차를 입력-출력 상호 정보 I(S;W)와 연관시킨다.
• I(S;W)를 제어하는 알고리즘적 방법을 개발하여 일반화를 향상시킨다.
• 수의 개념으로 확장 가능한 가설 공간에 대한 이전 결과를 확장하고 농도 결과를 도출한다.
• 정보 이론적 안정성을 이용한 적응적 구성 및 실용적 알고리즘 설계를 논의한다.

제안 방법

• 데이터 세트 S에서 가설 W로의 무작위 채널 P_{W|S}으로 학습을 모델링한다.
• subgaussian 손실에 대해 I(S;W) 관점에서 gen(mu, P_{W|S})의 상한을 도출한다.
• I(X;Y)와 함께 E[f(X,Y)]를 E[f(X̄,Ȳ)]로 분리하는 디커풀링 렘을 제시한다.
• I(S;W)로 정규화된 ERM이 Gibbs와 유사한 해를 이끈다고 보인다.
• 정규화된 위험 목표의 해로로 Gibbs 알고리즘을 도입하고 분석한다.
• I(S;W)를 기반으로 농도 경계와 샘플 복잡도 결과를 제공한다.

실험 결과

연구 질문

• RQ1 일반화 오차를 I(S;W)와 같은 정보 이론적 양을 사용하여 어떻게 경계지울 수 있는가?
• RQ2 Russo와 Zou의 경계 결과를 비개수 가능한 가설 공간으로 확장하고 농도 결과를 얻을 수 있는가?
• RQ3 상호 정보(I), 예: Gibbs, 노이즈 ERM으로 정규화하는 것이 실무에서 과적회를 어떻게 제어하는가?
• RQ4 적응적 구성은 다수의 학습 단계에서 일반화를 보존하는 데 어떤 역할을 하는가?
• RQ5 이 정보 이론적 경계가 모집단 위험에 대한 선험 지식과 어떻게 연결되는가?

주요 결과

• σ-서브가우시안 손실에 대해 일반화 오차는 sqrt(2σ^2 I(S;W)/n)로 상한이 된다.
• 임의 손실이 서브가우시안 매개변수 σ를 가질 때, I(S;W)이 일반화를 Theorem 1에 의해 제어한다.
• Gibbs 알고리즘과 노이즈 ERM은 I(S;W)을 조절하고 따라서 일반화를 조절하는 실용적 방법을 제공한다.
• 가설 공간이 가산(countable)인 경우, gen(mu, W) ≤ sqrt(2σ^2 H(W)/n)이다.
• 두 단계 절차와 적응적 구성은 상호 정보량 항을 결합하여 전반적인 일반화 제어를 가능하게 한다.
• Gibbs 알고리즘은 사전 정보를 반영한 모집단 위험 보장(Q의 선택에 의한)과 차등 프라이버시 함의를 가진다.