[論文レビュー] A unified framework for information-theoretic generalization bounds

Yifeng Chu, Maxim Raginsky|arXiv (Cornell University)|May 18, 2023

Statistical Mechanics and Entropy被引用数 7

ひとこと要約

本稿は、確率的非相関補題と測度空間におけるチェインニングを組み合わせることで、機械学習における一般化誤差の境界を導出する統一的な情報理論的枠組みを提案する。この手法は、相互情報量、PAC-Bayes、Fernique–Talagrandに基づく既存の境界を回復・拡張するとともに、アルゴリズム依存の一般化誤差推定のための整合的な理論的基盤を提供する。

ABSTRACT

This paper presents a general methodology for deriving information-theoretic generalization bounds for learning algorithms. The main technical tool is a probabilistic decorrelation lemma based on a change of measure and a relaxation of Young's inequality in $L_{ψ_p}$ Orlicz spaces. Using the decorrelation lemma in combination with other techniques, such as symmetrization, couplings, and chaining in the space of probability measures, we obtain new upper bounds on the generalization error, both in expectation and in high probability, and recover as special cases many of the existing generalization bounds, including the ones based on mutual information, conditional mutual information, stochastic chaining, and PAC-Bayes inequalities. In addition, the Fernique-Talagrand upper bound on the expected supremum of a subgaussian process emerges as a special case.

研究の動機と目的

• 既存の手法を包含・拡張する一般的で体系的な情報理論的一般化境界の導出法を構築すること。
• 深層ニューラルネットワークのような高複雑度モデルにおける一様収束境界の限界を、アルゴリズム固有の情報を組み込むことで克服すること。
• PAC-Bayes、相互情報量、確率的チェインニング、一般チェインニングといった異なる研究分野を、一つの理論的枠組みで統一すること。
• サブガウス過程の期待上限値に関する古典的結果（Fernique–Talagrand境界）を特別な場合として回復すること。
• 期待値と高確率境界の両方を扱える柔軟でモジュラーなアプローチを提供すること。

提案手法

• 測度変換に基づく確率的非相関補題と、$L_{\rho_p}$ Orlicz空間におけるヤングの不等式の緩和版を導入。
• 対称化とカップリング技術を用いて、期待一般化誤差を情報理論的発散度に結びつける。
• アルゴリズムの出力分布下での仮説空間の複雑さを制御するために、測度空間におけるチェインニングを適用。
• 再帰的な一般化誤差の境界化を可能にするために、入れ子になった仮説クラス上に近似測度 $\pi_k$ の系列を構築。
• コーシー・シュバルツとジェンセンの不等式を用いて、相対エントロピーおよびメトリックエントロピー項を含む高確率境界を導出。
• 一般化誤差の解析を可能にするために、$D(P_{W|S} \| \pi_k)$ および $\langle \pi_k \otimes P_{W_{k-1}|W_k}, d^2_{\tilde{S},\ell} \rangle$ を用いた境界を導出。

実験結果

リサーチクエスチョン

• RQ1 相互情報量、PAC-Bayes、確率的チェインニングに基づく多様な情報理論的一般化境界を統一する一つの枠組みが可能か。
• RQ2 測度変換による非相関を、情報発散度の観点から期待一般化誤差を境界づけるために体系的に応用できるか。
• RQ3 測度空間におけるチェインニングが、仮説空間における古典的チェインニングに代わって、経験過程の上限値を境界づけるのにどの程度有効か。
• RQ4 Fernique–Talagrand境界（サブガウス過程の期待上限値）が、この枠組みで古典的結果として回復可能か。
• RQ5 反復的または確率的学習アルゴリズムに対して、この枠組みがタイトな高確率境界を導くための条件は何か。

主な発見

• 本フレームワークは、[17, Thm. 2] のPAC-Bayes境界を、追加の項 $\frac{1}{\sqrt{n}}\sum_k \sqrt{\langle \pi_k \otimes P_{W_{k-1}|W_k}, d^2_{\tilde{S},\ell} \rangle}$ まで含めて回復する。
• 期待上限値 $\mathbb{E}[\sup_{t\in T} X_t]$ に対するFernique–Talagrand上界は、基準測度 $\mu$ に対する最小化によって特別な場合として回復される。
• 期待一般化誤差は、$\lesssim \sqrt{D(\mathbb{P} \otimes Q \| \mathbb{P} \otimes \mu)} + \text{誤差}$ で境界づけられ、誤差は過程の正則性に依存する。
• チェインニングと相対エントロピーを用いて高確率境界を導出し、$D(P_{W|S} \| \pi_k)$ およびメトリックエントロピーへの明示的依存関係を示した。
• $\sqrt{D(P_{W_k|S} \| \pi_k) + \log(2e/(p_k \delta))}$ を含む高確率境界を提供し、有限標本解析を可能にした。
• 古典的一般チェインニングと現代の情報理論的境界の間を滑らかに補間でき、両者の背後にあるより深い関係性を示唆している。