[논문 리뷰] Information-theoretic generalization bounds for black-box learning algorithms

Hrayr Harutyunyan, Maxim Raginsky외 2명|arXiv (Cornell University)|2021. 10. 04.

Machine Learning and Algorithms참고 문헌 38인용 수 14

한 줄 요약

이 논문은 모델 예측에서 정보를 측정하는 방식으로 기존의 가중치 기반 경계의 한계를 극복하는 정보이론적 일반화 경계를 제안한다. 제안된 경계는 결정론적 알고리즘에도 의미 있고, 추정이 더 쉬우며, 딥러닝 실험에서 실제 일반화 갭을 밀도 있게 따라가며, 300만 파라미터를 가진 모델이 4,000개의 예제로 훈련되었을 때 1%의 일반화 오차를 보이는 경우에도 유의미하다.

ABSTRACT

We derive information-theoretic generalization bounds for supervised learning algorithms based on the information contained in predictions rather than in the output of the training algorithm. These bounds improve over the existing information-theoretic bounds, are applicable to a wider range of algorithms, and solve two key challenges: (a) they give meaningful results for deterministic algorithms and (b) they are significantly easier to estimate. We show experimentally that the proposed bounds closely follow the generalization gap in practical scenarios for deep learning.

연구 동기 및 목표

• 기존의 가중치 기반 정보이론적 일반화 경계가 결정론적 알고리즘에 대해 무한대이거나 의미 없는 결과를 낳는다는 한계를 해결하기 위해.
• 모델 가중치가 아닌 예측에서의 정보를 측정함으로써 추정이 더 쉬운 일반화 경계를 개발하기 위해.
• 신경망, 베이지안 방법, 앙상블, 비모수적 접근법을 포함한 다양한 알고리즘에 적용 가능한 통합 프레임워크를 제공하기 위해.
• 실제 딥러닝 환경에서 예측 기반 경계가 실제 일반화 갭을 얼마나 밀도 있게 따라가는지 보여주기 위해.

제안 방법

• 모델 가중치와 훈련 데이터 간의 상호정보량이 아닌, 예측과 훈련 데이터 간의 기능적 조건부 상호정보량(f-CMI)을 사용하여 새로운 일반화 경계를 유도한다.
• 데이터 포함 여부를 나타내는 이진 변수와 예측 간의 상호정보량을 추정함으로써 계산적으로 효율적인 경계를 제안한다.
• 여러 개의 훈련 데이터 부분집합과 랜덤라이제이션에 대한 몬테카를로 샘플링을 사용하여 f-CMI를 추정함으로써 추정의 편향과 분산을 줄인다.
• 앙상블, 유한한 VC 차원을 가진 가설 클래스, 안정적인 학습 알고리즘(스토케스틱 및 결정론적 훈련 포함) 등 다양한 설정에 경계를 적용한다.
• 각 데이터 포인트당 $k_2$개의 샘플을 사용하여 상호정보량의 플러그인 추정기를 통해 경계를 추정하며, 이 때 편향은 $O(1/k_2)$, 분산은 $O((\log k_2)^2 / k_2)$이다.
• 시험 입력 데이터 $k_1$개를 사용하여 입력 분포 전체에 걸쳐 일반화 갭과 f-CMI의 기대값을 추정한다.

실험 결과

연구 질문

• RQ1 결정론적 학습 알고리즘에 대해서도 의미 있고 비자명한 정보이론적 일반화 경계를 도출할 수 있는가?
• RQ2 예측 기반 정보 측정 방식이 가중치 기반 측정 방식보다 더 날카우며 실용적인 일반화 경계를 제공할 수 있는가?
• RQ3 실제 딥러닝 환경에서 제안된 경계가 실제 일반화 갭을 얼마나 잘 따라가는가?
• RQ4 특히 고차원 모델에 대해서도 제안된 경계를 실용적으로 추정할 수 있는가?

주요 결과

• 제안된 예측 기반 경계는 기존의 가중치 기반 경계가 무한대이거나 정보가 없는 결과를 낳는 것과 달리, 결정론적 학습 알고리즘에 대해서도 의미 있고 비자명하다.
• 가중치 기반 대비 경계 추정이 훨씬 쉬우며, 고차원 가중치-데이터 상호정보량을 추정하는 대신, 예측과 데이터 포함 여부를 나타내는 이진 지표 간의 상호정보량을 추정하기만 하면 된다.
• MNIST에서 4층 CNN(4 대 9)을 사용한 실험에서, 4,000개의 예제로 훈련하고 300만 파라미터를 가진 모델에서 1%의 테스트 오차를 기록했을 때도 f-CMI 경계가 실제 일반화 갭을 밀도 있게 따라간다.
• CIFAR-10에서 프리트레인된 ResNet-50에 적용한 결과, 제안된 경계는 여전히 날카롭고 정보가 풍부하여 대규모 모델에의 적용 가능성을 입증한다.
• 시험 입력으로 $k_1 = 1$에서 $5$개의 샘플과 각 입력당 $k_2 = 30$에서 $40$개의 샘플을 사용함으로써 추정 절차는 낮은 편향과 다룰 수 있는 분산을 달성하여 실용적 구현이 가능하다.