[논문 리뷰] Towards a Unified Information-Theoretic Framework for Generalization

Mahdi Haghifam, Gintare Karolina Dziugaite외 2명|arXiv (Cornell University)|2021. 11. 09.

Machine Learning and Algorithms인용 수 3

한 줄 요약

이 논문은 실현 가능한 설정에서 일반화 경계를 유도하기 위해 조건부 상호정보량(CMI)을 사용하는 통합 정보이론적 프레임워크를 수립한다. CMI가 일致한 학습 알고리즘의 일반화를 특징짓는다는 것을 증명한다: 표본 크기가 증가함에 따라 기대 위험이 사라지기 위한 조건은 CMI가 비선형적으로 증가할 때이고, 이는 서포트 벡터 기반 기반(SVMs)과 안정적인 압축 계획에 대해 최적의 경계를 달성한다.

ABSTRACT

In this work, we investigate the expressiveness of the conditional mutual information (CMI) framework of Steinke and Zakynthinou (2020) and the prospect of using it to provide a unified framework for proving generalization bounds in the realizable setting. We first demonstrate that one can use this framework to express non-trivial (but sub-optimal) bounds for any learning algorithm that outputs hypotheses from a class of bounded VC dimension. We prove that the CMI framework yields the optimal bound on the expected risk of Support Vector Machines (SVMs) for learning halfspaces. This result is an application of our general result showing that stable compression schemes Bousquet al. (2020) of size $k$ have uniformly bounded CMI of order $O(k)$. We further show that an inherent limitation of proper learning of VC classes contradicts the existence of a proper learner with constant CMI, and it implies a negative resolution to an open problem of Steinke and Zakynthinou (2020). We further study the CMI of empirical risk minimizers (ERMs) of class $H$ and show that it is possible to output all consistent classifiers (version space) with bounded CMI if and only if $H$ has a bounded star number (Hanneke and Yang (2015)). Moreover, we prove a general reduction showing that leave-one-out analysis is expressible via the CMI framework. As a corollary we investigate the CMI of the one-inclusion-graph algorithm proposed by Haussler et al. (1994). More generally, we show that the CMI framework is universal in the sense that for every consistent algorithm and data distribution, the expected risk vanishes as the number of samples diverges if and only if its evaluated CMI has sublinear growth with the number of samples.

연구 동기 및 목표

• Steinke와 Zakynthinou(2020)의 조건부 상호정보량(CMI) 프레임워크가 실현 가능한 설정에서 일반화 경계를 통합할 수 있는가를 조사하는 것.
• 유계 VC 차원을 가진 학습 알고리즘과 일致하는 가설 클래스에 대해 CMI의 표현력을 규명하는 것.
• VC 클래스에서 상수 CMI를 가진 적절한 학습자가 존재하는지에 대한 열린 문제를 해결하는 것.
• 경험 위험 최소화자(ERMs)가 유계 CMI로 출력될 수 있는 조건을 규명하고, 이를 가설 클래스의 별수(star number)와 연결하는 것.

제안 방법

• 크기 $k$인 안정적인 압축 계획의 CMI를 분석하여, 그 CMI가 $O(k)$로 균일하게 유계임을 증명한다.
• 반정식 기반 기반(SVMs)을 이용한 반공간 학습에 대해 CMI 프레임워크를 적용하여 기대 위험의 최적 경계를 유도한다.
• 일부 분석을 CMI 프레임워크로 표현할 수 있는 일반적인 감소를 도입한다.
• CMI 프레임워크를 사용하여 일인clusion-그래프 알고리즘을 분석하고, 그 행동을 CMI 증가와 연결한다.
• 모든 일致한 알고리즘과 데이터 분포에 대해 기대 위험이 0으로 수렴하는지 여부를 CMI가 표본 크기에 대해 비선형적으로 증가할 때만 성립하는 유니버설 특성화를 수립한다.

실험 결과

연구 질문

• RQ1 유계 VC 차원을 가진 모든 학습 알고리즘에 대해 CMI 프레임워크가 비자명한 일반화 경계를 표현할 수 있는가?
• RQ2 반공간 학습 설정에서 SVM에 대해 CMI 프레임워크가 최적의 일반화 경계를 도출하는가?
• RQ3 VC 클래스에 대해 상수 CMI를 가진 적절한 학습자가 존재할 수 있으며, 이는 프레임워크에 어떤 영향을 미치는가?
• RQ4 어떤 조건에서 모든 일치하는 분류자(버전 공간)가 유계 CMI로 출력될 수 있는가?
• RQ5 알고리즘의 CMI는 표본 크기가 증가함에 따라 기대 위험의 점근적 행동과 어떻게 관련이 있는가?

주요 결과

• CMI 프레임워크는 출력 가설의 VC 차원이 유계인 모든 학습 알고리즘에 대해 비자명한 일반화 경계를 도출한다.
• 반공간 학습 설정에서 SVM이 반공간을 학습할 경우, CMI 프레임워크는 최적의 기대 위험 경계를 달성한다.
• 크기 $k$인 안정적인 압축 계획은 CMI가 $O(k)$로 유계이므로, 압축과 정보이론적 일반화 사이의 직접적 연결을 확립한다.
• VC 클래스의 적절한 학습은 상수 CMI를 가질 수 없으며, 이는 Steinke와 Zakynthinou(2020)가 제기한 열린 문제를 부정적으로 해결한다.
• 가설 클래스 $H$의 경험 위험 최소화자는 $H$의 별수가 유계일 때에만 유계 CMI로 출력될 수 있다.
• CMI 프레임워크는 보편적이다: 임의의 일치하는 알고리즘과 데이터 분포에 대해, 기대 위험이 표본 수가 무한해질 때 0으로 수렴하는 것은 CMI가 표본 크기에 대해 비선형적으로 증가할 때에만 성립한다.