[논문 리뷰] Generalization Bounds via Convex Analysis

Gábor Lugosi, Gergely Neu|arXiv (Cornell University)|2022. 02. 10.

Sparse and Compressive Sensing Techniques인용 수 6

한 줄 요약

이 논문은 샤논의 상호정보량 대신 어떤 강凸성 조건을 만족하는 의존도 측정법을 사용하여 정보이론적 일반화 경계를 일반화한다. 볼록 분석을 통해 잠재 함수의 변화를 추적하며, p-노름 거리와 워셔스타인-2 거리 기반으로 새로운 경계를 도출한다. 이는 체중 꼬리 꼬리 분포와 매끄러운 손실 함수에 대해, 적절한 노름 조건으로 기술되는 일반화된 서브가우시안 타일 조건 하에서 적용 가능하다.

ABSTRACT

Since the celebrated works of Russo and Zou (2016,2019) and Xu and Raginsky (2017), it has been well known that the generalization error of supervised learning algorithms can be bounded in terms of the mutual information between their input and the output, given that the loss of any fixed hypothesis has a subgaussian tail. In this work, we generalize this result beyond the standard choice of Shannon's mutual information to measure the dependence between the input and the output. Our main result shows that it is indeed possible to replace the mutual information by any strongly convex function of the joint input-output distribution, with the subgaussianity condition on the losses replaced by a bound on an appropriately chosen norm capturing the geometry of the dependence measure. This allows us to derive a range of generalization bounds that are either entirely new or strengthen previously known ones. Examples include bounds stated in terms of $p$-norm divergences and the Wasserstein-2 distance, which are respectively applicable for heavy-tailed loss distributions and highly smooth loss functions. Our analysis is entirely based on elementary tools from convex analysis by tracking the growth of a potential function associated with the dependence measure and the loss function.

연구 동기 및 목표

• 기존의 정보이론적 일반화 경계를 샤논의 상호정보량을 초월하여 확장하기 위해.
• 감독 학습에서 의존도 측정법을 분석하기 위한 볼록 분석 기반 통합 프레임워크를 개발하기 위해.
• 서브가우시안 손실 가정을 선택된 의존도 측정법에 맞는 노름 기반 조건으로 대체하기 위해.
• 체중 꼬리 및 매끄러운 경우를 포함한 다양한 손실 분포에 대해 새로운 또는 개선된 일반화 경계를 도출하기 위해.
• 볼록성 제약 조건 하에서 잠재 함수의 성장에 기반해 경계를 체계적으로 유도하는 방법을 제공하기 위해.

제안 방법

• 프레임워크는 입력-출력 연합분포와 곱분포 사이의 강凸성 조건을 만족하는 분리 측정법에서 유도된 잠재 함수를 사용한다.
• 볼록 분석 도구를 활용해 이 잠재 함수의 성장을 데이터 포인트 간에 추적한다.
• 서브가우시안 尾 조건을 선택된 의존도 측정법의 기하학적 특성을 반영하는 노름 기반 조건으로 대체한다.
• 모든 강凸성 조건을 만족하는 연합분포 함수에 대해 적용 가능하며, 상호정보량을 초월하는 일반화를 가능하게 한다.
• 복잡한 확률 도구를 피하고 기초적인 볼록 분석에 의존한다.
• 기대 손실 차이와 분리 측정법의 성장 및 노름 제약 조건 간의 관계를 통해 일반화 경계를 도출한다.

실험 결과

연구 질문

• RQ1 상호정보량 외의 의존도 측정법을 사용해 일반화 경계를 도출할 수 있는가?
• RQ2 어떤 강凸성 조건을 만족하는 분리 측정법에 대해 볼록 분석을 활용해 잠재 함수의 성장을 분석할 수 있는가?
• RQ3 p-노름 거리 또는 워셔스타인-2 거리를 의존도 측정법으로 사용할 경우 손실 함수에 요구되는 꼬리 조건은 무엇인가?
• RQ4 이 프레임워크는 체중 꼬리 손실 분포나 매우 매끄러운 손실 함수에 대해 더 날카운 경계나 새로운 경계를 도출할 수 있는가?
• RQ5 다양한 의존도 측정법 하에서 노름 기하학은 일반화 오차 경계를 어떻게 형성하는가?

주요 결과

• 논문은 상호정보량 외에도 어떤 강凸성 조건을 만족하는 의존도 측정법을 사용해 일반화 경계를 수립한다.
• 서브가우시안 손실 가정을 선택된 분리 측정법에 따라 달라지는 노름 기반 조건으로 대체함으로써 더 넓은 적용 가능성을 확보한다.
• p-노름 거리 기반으로 새로운 경계를 도출하였으며, 이는 체중 꼬리 손실 분포에 효과적이다.
• 워셔스타인-2 거리가 매우 매끄러운 손실 함수에 대해 날카운 경계를 도출함을 보였다.
• 볼록 잠재 함수를 통해 의존도 측정법의 선택과 해당 손실 꼬리 조건 간의 체계적 연결을 통해 이전 결과들을 통합하고 강화한다.