[논문 리뷰] A unified framework for information-theoretic generalization bounds

Yifeng Chu, Maxim Raginsky|arXiv (Cornell University)|2023. 05. 18.

Statistical Mechanics and Entropy인용 수 7

한 줄 요약

이 논문은 확률적 분리성 보조정리와 측도 공간에서의 체이닝을 조합하여 기계학습에서 일반화 경계를 유도하기 위한 통합된 정보이론적 프레임워크를 제안한다. 이 방법은 상호정보량, PAC-Bayes, Fernique–Talagrand 기반의 기존 경계들을 복원하고 확장하며, 알고리즘에 따라 달라지는 일반화 오차 추정에 대한 일관된 이론적 기반을 제공한다.

ABSTRACT

This paper presents a general methodology for deriving information-theoretic generalization bounds for learning algorithms. The main technical tool is a probabilistic decorrelation lemma based on a change of measure and a relaxation of Young's inequality in $L_{ψ_p}$ Orlicz spaces. Using the decorrelation lemma in combination with other techniques, such as symmetrization, couplings, and chaining in the space of probability measures, we obtain new upper bounds on the generalization error, both in expectation and in high probability, and recover as special cases many of the existing generalization bounds, including the ones based on mutual information, conditional mutual information, stochastic chaining, and PAC-Bayes inequalities. In addition, the Fernique-Talagrand upper bound on the expected supremum of a subgaussian process emerges as a special case.

연구 동기 및 목표

• 정보이론적 일반화 경계를 유도하기 위한 일반적이고 체계적인 방법을 개발하여 기존 접근법을 포함하고 확장하는 것.
• 딥 뉴럴 네트워크와 같은 고복잡도 모델에서 균일 수렴 경계의 한계를 알고리즘에 특화된 정보를 통합하여 해결하는 것.
• PAC-Bayes, 상호정보량, 확률적 체이닝, 일반 체이닝 등의 서로 다른 연구 분야를 하나의 이론적 프레임워크 아래 통합하는 것.
• 서브가우시안 과정의 기대 최대값에 대한 고전적 결과인 Fernique–Talagrand 경계를 특수 케이스로 복원하는 것.
• 기대값과 고확률 경계를 모두 가능하게 하는 유연하고 모odu lar한 접근을 제공하는 것.

제안 방법

• 측도 변화 기반의 확률적 분리성 보조정리와 $L_{\rho_p}$ 오르리츠 공간에서의 양면화된 얀의 부등식을 활용한 방법.
• 대칭화 및 결합 기법을 사용하여 기대 일반화 오차를 정보이론적 발산과 연결한다.
• 알고리즘의 출력 분포 하에서 가설 공간의 복잡도를 제어하기 위해 측도 공간에서의 체이닝을 적용한다.
• 기대 일반화 오차의 재귀적 경계를 가능하게 하기 위해 포함된 가설 클래스에 대한 근사 측도 $\pi_k$ 의 수열을 구성한다.
• 카우치-슈바르츠 및 젠슨의 부등식을 활용하여 상대 엔트로피와 메트릭 엔트로피 항을 포함한 고확률 경계를 유도한다.
• 반복 학습 알고리즘의 분석이 가능하도록 $D(P_{W|S} \| \pi_k)$ 와 $\langle \pi_k \otimes P_{W_{k-1}|W_k}, d^2_{\tilde{S},\ell} \rangle$ 를 기반으로 경계를 유도한다.

실험 결과

연구 질문

• RQ1 서로 다른 정보이론적 일반화 경계(상호정보량, PAC-Bayes, 확률적 체이닝 등)를 통합할 수 있는 단일 프레임워크가 존재하는가?
• RQ2 측도 변화를 통한 분리성은 기대 일반화 오차를 정보 발산의 관점에서 체계적으로 어떻게 경계할 수 있는가?
• RQ3 측도 공간에서의 체이닝이 가설 공간에서의 고전적 체이닝을 얼마나 효과적으로 대체할 수 있는가?
• RQ4 이 프레임워크는 서브가우시안 과정의 기대 최대값에 대한 고전적 결과인 Fernique–Talagrand 경계를 복원할 수 있는가?
• RQ5 반복적 또는 무작위 학습 알고리즘에 대해 이 프레임워크가 타당한 고확률 경계를 도출할 수 있는 조건은 무엇인가?

주요 결과

• 이 프레임워크는 [17, Thm. 2]의 PAC-Bayes 경계를 $\frac{1}{\sqrt{n}}\sum_k \sqrt{\langle \pi_k \otimes P_{W_{k-1}|W_k}, d^2_{\tilde{S},\ell} \rangle}$ 항의 추가로 복원한다.
• 기댓값 $\mathbb{E}[\sup_{t\in T} X_t]$ 에 대한 Fernique–Talagrand 상한은 기준 측도 $\mu$ 에 대해 최소화함으로써 특수 케이스로 복원된다.
• 기대 일반화 오차는 $\lesssim \sqrt{D(\mathbb{P} \otimes Q \| \mathbb{P} \otimes \mu)} + \text{오차}$ 로 경계되며, 오차는 과정의 정규성에 따라 달라진다.
• 상대 엔트로피와 체이닝을 활용하여 고확률 경계를 도출하였으며, $D(P_{W|S} \| \pi_k)$ 와 메트릭 엔트로피에 대한 명시적 의존성이 있다.
• 반복 알고리즘에 대한 고확률 경계는 $\sqrt{D(P_{W_k|S} \| \pi_k) + \log(2e/(p_k \delta))}$ 를 포함하며, 유한 샘플 분석이 가능하다.
• 이 방법은 고전적 일반 체이닝과 현대 정보이론적 경계 사이를 원활하게 보간하며, 두 철학적 접근 간의 깊은 연결성을 시사한다.