[논문 리뷰] Information-Theoretic Generalization Bounds for SGLD via Data-Dependent Estimates

Jeffrey Negrea, Mahdi Haghifam외 3명|arXiv (Cornell University)|2019. 11. 06.

Machine Learning and Algorithms인용 수 38

한 줄 요약

본 논문은 데이터 의존적 추정치를 사용하여 확률적 경사 Langevin 다이나믹스(SGLD)에 대한 정보 이론적 일반화 경계 개발하고, 분해된 상호정보를 핵심 도구로 도입한다.

ABSTRACT

In this work, we improve upon the stepwise analysis of noisy iterative learning algorithms initiated by Pensia, Jog, and Loh (2018) and recently extended by Bu, Zou, and Veeravalli (2019). Our main contributions are significantly improved mutual information bounds for Stochastic Gradient Langevin Dynamics via data-dependent estimates. Our approach is based on the variational characterization of mutual information and the use of data-dependent priors that forecast the mini-batch gradient based on a subset of the training samples. Our approach is broadly applicable within the information-theoretic framework of Russo and Zou (2015) and Xu and Raginsky (2017). Our bound can be tied to a measure of flatness of the empirical risk surface. As compared with other bounds that depend on the squared norms of gradients, empirical investigations show that the terms in our bounds are orders of magnitude smaller.

연구 동기 및 목표

• 학습 환경에서 SGLD에 대한 정보 이론적 일반화 경계의 필요성을 동기부여한다.
• 조건부 의존성 척도로서 분해된 상호정보를 도입하고 형식화한다.
• SGLD의 일반화 오차를 경계하기 위한 데이터 의존적 추정치를 개발한다.
• KL 발산, 상호정보, 그리고 조건부 MI를 일반화 경계와 연결하는 이론적 결과를 제공한다.

제안 방법

• 분해된 상호정보 I_Z(X;Y) = KL(P_Z[(X,Y)] || P_Z[X] ⊗ P_Z[Y]를 정의한다.
• Z에 대한 조건부 기댓값 E_Y|Z 및 Z를 주어진 조건에서의 조건부 분포를 사용하여 정보 이론적 양들을 형식화한다.
• 디스인테그레이션(disintegration) 접근 방식과 함께 표준 정보 이론 개념(KL, 상호정보, 조건부 상호정보)을 활용한다.
• 데이터 의존적 정보 양에 의존하는 일반화 오차의 경계를 도출한다.
• I(X;Y|Z) = E I_Z(X;Y)인 기댓값으로부터 분해된 MI를 연결하는 프레임워크를 제공한다.
• SGLD를 이용한 확률적 최적화 설정에 구체적으로 이 접근법을 적용한다.

실험 결과

연구 질문

• RQ1 분해된 상호정보를 사용하여 SGLD의 일반화 오차를 어떻게 경계할 수 있는가?
• RQ2 확률적 그래디언트를 가진 학습 알고리즘에 대해 어떤 데이터 의존적 정보 양이 촘촘한 일반화 경계를 제공하는가?
• RQ3 데이터 의존적 무작위성이 존재하는 경우 KL 발산과 조건부 MI가 일반화와 어떻게 관련되는가?
• RQ4 SGLD 설정에서 샘플 의존적 양에 의존하는 실용적이고 해석 가능한 경계를 도출할 수 있는가?
• RQ5 분해된 MI 프레임워크가 타당한 경계를 보장하기 위해 필요한 규칙성 조건은 무엇인가?

주요 결과

• 분해된 상호정보를 이용한 정보 이론적 일반화 경계 프레임워크를 확립했다.
• I_Z(X;Y)와 같은 데이터 의존적 정보 척도로 일반화 경계를 표현했다.
• 표준 정보 이론 양(KL, MI, 조건부 MI)을 SGLD에 적합한 디스인테그레이션 접근에 연결했다.
• 데이터 의존적 추정치가 분해된 MI를 통해 일반화에 어떤 영향을 미치는지의 이론적 결과를 제시했다.
• 랜덤성의 원천 Z를 조건으로 삼아 SGLD를 이용한 확률적 최적화에 프레임워크를 적용하는 절차를 개략적으로 제시했다.