[논문 리뷰] A New Family of Generalization Bounds Using Samplewise Evaluated CMI

Fredrik Hellström, Giuseppe Durisi|arXiv (Cornell University)|2022. 10. 12.

Distributed Sensor Networks and Detection Algorithms인용 수 5

한 줄 요약

이 논문은 손실 간의 종속성을 측정하는 샘플별 평가 조건부 상호정보(e-CMI)를 기반으로 한 새로운 정보이론적 일반화 경계 가족을 제안한다. 이는 가설이 아닌 손실 간의 종속성에 기반한다. 학습 손실 및 전체 손실의 공동으로 볼록인 함수를 활용함으로써, 특히 이진 KL 기반 경계에서 더 날카운, 더 안정적인 경계를 도출한다. 이 경계들은 MNIST 및 CIFAR10 데이터셋에서 딥 뉴럴 네트워크의 일반화를 더 잘 기술하는 데 이전 방법들을 능가한다.

ABSTRACT

We present a new family of information-theoretic generalization bounds, in which the training loss and the population loss are compared through a jointly convex function. This function is upper-bounded in terms of the disintegrated, samplewise, evaluated conditional mutual information (CMI), an information measure that depends on the losses incurred by the selected hypothesis, rather than on the hypothesis itself, as is common in probably approximately correct (PAC)-Bayesian results. We demonstrate the generality of this framework by recovering and extending previously known information-theoretic bounds. Furthermore, using the evaluated CMI, we derive a samplewise, average version of Seeger's PAC-Bayesian bound, where the convex function is the binary KL divergence. In some scenarios, this novel bound results in a tighter characterization of the population loss of deep neural networks than previous bounds. Finally, we derive high-probability versions of some of these average bounds. We demonstrate the unifying nature of the evaluated CMI bounds by using them to recover average and high-probability generalization bounds for multiclass classification with finite Natarajan dimension.

연구 동기 및 목표

• 학습 및 전체 손실의 공동으로 볼록인 함수를 활용하여, 가설이 아닌 손실에 기반한 샘플별 평가 조건부 상호정보(e-CMI)를 사용하는 통합된 일반화 경계 프레임워크를 개발하는 것.
• 가설 기반 정보 측정법을 손실 기반 e-CMI로 대체하여 더 날카우며 더 안정적인 일반화 경계를 도출하는 것.
• 이론적 기반인 PAC-Bayesian 경계를 공통으로 볼록 함수를 사용하여 e-CMI 설정으로 확장하는 것, 이는 이진 KL 발산 포함.
• 통계적 신뢰도를 향상시키기 위해 평균 e-CMI 경계의 고확률 형태를 제공하는 것.
• 유한한 Natarajan 차원을 가진 다중 분류에 대해 알려진 경계들을 복원함으로써 e-CMI 프레임워크의 표현력(표현 능력)을 입증하는 것.

제안 방법

• 학습 손실 및 전체 손실의 공동으로 볼록인 함수를 포함하는 일반 부등식을 제안하며, 이는 분해된 샘플별 e-CMI로 상한이 제시된다.
• 세 가지 주요 경계를 유도한다: 제곱근 경계(정리 1), 선형 경계(정리 3), 이진 KL 경계(정리 4), 모두 e-CMI 기반으로 표현된다.
• 이진 KL 경계를 도출하기 위해 독립적이지만 동일분포가 아닌 랜덤 변수에 대한 새로운 농도 부등식을 도입한다.
• 정리 7을 활용하여 평균 경계를 거의 확실한 제어로 확장함으로써 고확률 경계를 도출하는 프레임워크를 적용한다.
• 실제 적용을 위해 다수의 학습 데이터 및 가설 샘플을 사용하는 플러그인 추정기를 e-CMI에 적용하여 경계를 계산한다.
• 학습률, 넓이, 깊이에 대한 초모델 튜닝을 수행하며, SGD 및 SGLD를 사용하여 이진화된 MNIST 및 CIFAR10에서 경계를 검증한다.

실험 결과

연구 질문

• RQ1 샘플별 평가 e-CMI를 사용하여 다양한 정보이론적 일반화 경계를 통합하는 일반 프레임워크를 개발할 수 있는가?
• RQ2 가설 기반 상호정보를 손실 기반 e-CMI로 대체하면 딥 뉴럴 네트워크의 일반화 경계가 더 날카우며 더 안정적인가?
• RQ3 기존 PAC-Bayesian 이론에서 알려진 날카운 경계인 이진 KL 발산이 e-CMI 설정으로 성공적으로 확장되어 성능이 향상되는가?
• RQ4 기존 최첨단 경계들인 SGLD 및 제곱근 경계들과 비교했을 때, 제안된 경계들은 날카움과 테스트 오차와의 상관관계 측면에서 어떻게 성능을 발휘하는가?
• RQ5 e-CMI 프레임워크는 유한한 Natarajan 차원을 가진 다중 분류에 대해 알려진 고확률 및 평균 경계를 복원할 수 있는가?

주요 결과

• 이진 KL 기반 e-CMI 경계는 이중화된 MNIST 및 CIFAR10 데이터셋에서 제곱근 경계 및 선형 경계보다 전체 손실을 더 날카운 경계로 기술한다.
• e-CMI 기반 경계는 학습 도중 안정적으로 유지되며, 일반적으로 학습 진행에 따라 증가하는 가설 기반 경계들과는 대조된다.
• 작은 샘플 크기(n=75)에서는 경계가 테스트 오차와 강하게 상관되며, 최저 및 최고의 테스트 오차를 유도하는 하이퍼파rameter 설정을 정확히 식별한다.
• 더 큰 샘플 크기(n=4000)에서는 경계의 변동성이 감소하지만, 전체 경향은 여전히 테스트 오차의 행동과 일치한다.
• 이 프레임워크는 유한한 Natarajan 차원을 가진 다중 분류에 대해 평균 및 고확률 일반화 경계를 성공적으로 복원하여, 그 통합적 능력을 입증한다.
• 수치 실험 결과, 이진 KL 경계는 이진화된 MNIST에서 초기 학습 에포크에서 SGLD 경계를 능가하며, 특히 테스트 오차가 높을 때 두드러진 성능을 보인다.