[論文レビュー] Towards a Unified Information-Theoretic Framework for Generalization

Mahdi Haghifam, Gintare Karolina Dziugaite+2 more|arXiv (Cornell University)|Nov 9, 2021

Machine Learning and Algorithms被引用数 3

ひとこと要約

この論文は、実現可能設定における一般化境界を導出するために、条件付き相互情報量（CMI）を用いた統一的な情報理論的枠組みを確立する。CMIが一貫性のある学習アルゴリズムの一般化を特徴づけることを証明している：期待リスクが標本サイズが増加するにつれて消えるのは、CMIが部分線形に増加する場合に限る。また、SVMおよび安定な圧縮スキームに対して最適な境界を達成する。

ABSTRACT

In this work, we investigate the expressiveness of the conditional mutual information (CMI) framework of Steinke and Zakynthinou (2020) and the prospect of using it to provide a unified framework for proving generalization bounds in the realizable setting. We first demonstrate that one can use this framework to express non-trivial (but sub-optimal) bounds for any learning algorithm that outputs hypotheses from a class of bounded VC dimension. We prove that the CMI framework yields the optimal bound on the expected risk of Support Vector Machines (SVMs) for learning halfspaces. This result is an application of our general result showing that stable compression schemes Bousquet al. (2020) of size $k$ have uniformly bounded CMI of order $O(k)$. We further show that an inherent limitation of proper learning of VC classes contradicts the existence of a proper learner with constant CMI, and it implies a negative resolution to an open problem of Steinke and Zakynthinou (2020). We further study the CMI of empirical risk minimizers (ERMs) of class $H$ and show that it is possible to output all consistent classifiers (version space) with bounded CMI if and only if $H$ has a bounded star number (Hanneke and Yang (2015)). Moreover, we prove a general reduction showing that leave-one-out analysis is expressible via the CMI framework. As a corollary we investigate the CMI of the one-inclusion-graph algorithm proposed by Haussler et al. (1994). More generally, we show that the CMI framework is universal in the sense that for every consistent algorithm and data distribution, the expected risk vanishes as the number of samples diverges if and only if its evaluated CMI has sublinear growth with the number of samples.

研究の動機と目的

• SteinkeとZakynthinou（2020）の条件付き相互情報量（CMI）フレームワークが、実現可能設定における一般化境界を統一的に扱えるかどうかを調査すること。
• 有界VC次元および一貫性のある仮説クラスを備えた学習アルゴリズムにおけるCMIの表現力の特定。
• VCクラスにおける定数CMIを持つ適切な学習者（proper learner）の存在に関する未解決問題を解消すること。
• 経験的リスク最小化（ERM）が有界CMIで出力可能となる条件を、仮説クラスのスターナンバーと結びつけて特徴づけること。

提案手法

• サイズ$k$の安定圧縮スキームのCMIを分析し、そのCMIが$O(k)$で一様に有界であることを証明する。
• 支持ベクターマシン（SVM）を用いた半空間学習にCMIフレームワークを適用し、最適な期待リスク境界を導出する。
• leave-one-out解析をCMIフレームワークで表現できる一般還元を導入する。
• CMIフレームワークを用いて1-インクルージョン・グラフアルゴリズムを分析し、その挙動をCMIの増加と結びつける。
• 普遍的特徴付けを確立する：任意の一致するアルゴリズムとデータ分布に対して、期待リスクがサンプルサイズが増加するにつれて0に収束するための必要十分条件は、CMIが部分線形に増加することである。

実験結果

リサーチクエスチョン

• RQ1 CMIフレームワークは、出力仮説のVC次元が有界であるすべての学習アルゴリズムに対して非自明な一般化境界を表現できるか？
• RQ2 CMIフレームワークは、半空間学習設定におけるSVMの最適な一般化境界を導けるか？
• RQ3 VCクラスに対して定数CMIを持つ適切な学習者が存在可能であり、これはフレームワークにどのような意味を持つのか？
• RQ4 どのような条件下で、すべての一貫性のある分類器（バージョン空間）を有界CMIで出力できるか？
• RQ5 アルゴリズムのCMIは、サンプルサイズの増加に伴う期待リスクの漸近的挙動とどのように関係するか？

主な発見

• CMIフレームワークは、出力仮説のVC次元が有界であるすべての学習アルゴリズムに対して非自明な一般化境界を導く。
• 半空間を学習するSVMに対して、CMIフレームワークは最適な期待リスク境界を達成する。
• サイズ$k$の安定圧縮スキームはCMIが$O(k)$で有界であり、圧縮と情報理論的一般化の直接的関係を確立する。
• VCクラスの適切な学習は定数CMIを有し得ず、これはSteinkeとZakynthinou（2020）が提起した未解決問題を否定的に解決する。
• 仮説クラス$H$の経験的リスク最小化（ERM）は、$H$のスターナンバーが有界である場合に限り、有界CMIで出力可能である。
• CMIフレームワークは普遍的である：任意の一致するアルゴリズムとデータ分布に対して、期待リスクがサンプルサイズが発散するにつれて0に収束するための必要十分条件は、CMIが部分線形に増加することである。