[논문 리뷰] Reasoning About Generalization via Conditional Mutual Information

Thomas Steinke, Lydia Zakynthinou|arXiv (Cornell University)|2020. 01. 24.

Stochastic Gradient Optimization Techniques참고 문헌 74인용 수 17

한 줄 요약

이 논문은 조건부 상호정보량(CMI)을 사용하여 기계학습 일반화를 분석하는 통합 정보이론적 프레임워크를 제안한다. 다양한 설정—예를 들어 VC 차원, 차별적 프라이버시, 압축 기법—에서 CMI가 유계일 경우 일반화가 발생함을 보여주며, CMI와 일반화 오차 사이의 공식적 연결 고리를 통해 다양한 학습 철학에 걸쳐 더 날카롭고 적응 가능한 경계를 제공한다.

ABSTRACT

We provide an information-theoretic framework for studying the generalization properties of machine learning algorithms. Our framework ties together existing approaches, including uniform convergence bounds and recent methods for adaptive data analysis. Specifically, we use Conditional Mutual Information (CMI) to quantify how well the input (i.e., the training data) can be recognized given the output (i.e., the trained model) of the learning algorithm. We show that bounds on CMI can be obtained from VC dimension, compression schemes, differential privacy, and other methods. We then show that bounded CMI implies various forms of generalization.

연구 동기 및 목표

• 기계학습에서의 일반화에 대한 다수의 접근 방식—예를 들어 균일 수렴, 차별적 프라이버시, 압축—을 하나의 정보이론적 프레임워크 아래 통합하기 위해.
• 학습 데이터와 모델 출력 사이의 조건부 상호정보량(CMI)이 일반화 성능을 어떻게 정량화하는지 공식화하기 위해.
• 기본 알고리즘 메커니즘과 관계없이 CMI가 유계일 경우 일반화가 발생함을 보여주기 위해.
• VC 차원 및 안정성 개념과 같은 기존 일반화 기법들로부터 CMI 경계를 유도하는 체계적인 방법을 제공하기 위해.
• 프레임워크를 적응형 데이터 분석 및 비선형 손실 함수로 확장하여 실용적 적용 가능성을 높이기 위해.

제안 방법

• 학습 데이터 분포 D를 고려할 때, 학습 데이터 Z와 모델 A(Z) 사이의 조건부 상호정보량(CMI)을 정의하여 모델이 학습 데이터를 얼마나 드러내는지 측정한다.
• 일반화 오차의 대리 척도로 CMI를 사용하여, CMI가 유계일 경우 경험적 위험과 진짜 위험 간의 기대값 차이가 작다는 것을 보여준다.
• 기존의 일반화 메커니즘—VC 차원, 차별적 프라이버시, 압축 기법, 균일 안정성—으로부터 CMI 경계를 유도한다.
• 유한 표본 설정에서 CMI의 실용적 대체 척도로 평가된 CMI(eCMI)를 도입하여 경험적 추정을 가능하게 한다.
• 집중 불등식과 KL 발산을 사용하여 CMI를 경계하고, 제곱 오차 및 허프 손실과 같은 손실 함수와 연결한다.
• 균일 안정성과 eCMI 사이의 연결 고리를 설정하여, 안정적인 알고리즘은 연속적인 데이터 분포 하에서 낮은 eCMI를 유도함을 보여준다.

실험 결과

연구 질문

• RQ1 조건부 상호정보량(CMI)이 다양한 학습 알고리즘에 걸쳐 일반화를 통합적으로 측정하는 데 사용될 수 있는가?
• RQ2 VC 차원, 차별적 프라이버시, 압축과 같은 기존 일반화 기법을 사용하여 CMI를 어떻게 경계할 수 있는가?
• RQ3 CMI가 유계일 경우 선형 및 비선형 손실 설정 모두에서 일반화가 발생하는가?
• RQ4 이 프레임워크는 적응형 데이터 분석 및 i.i.d.가 아닌 데이터 설정으로 확장될 수 있는가?
• RQ5 평가된 CMI(eCMI)는 균일 안정성과 어떻게 관련되어 있으며, 더 날카운 일반화 경계를 도출할 수 있는가?

주요 결과

• 학습 데이터와 모델 출력 사이의 CMI가 유계일 경우 일반화가 발생하며, 일반화 오차는 CMI 값의 함수로 상한이 존재한다.
• VC 차원으로부터 CMI 경계를 도출할 수 있으며, 저복잡도의 가설 클래스는 낮은 CMI를 유도하고, 이는 좋은 일반화를 의미한다.
• 차별적 프라이버시는 CMI가 유계임을 의미하며, 정보이론적 척도를 통해 프라이버시와 일반화를 연결한다.
• 압축 기법 역시 CMI가 유계임을 보여주며, 이는 모델의 단순성이 정보이론적 강건성으로 이어진다는 것을 보여준다.
• 균일 안정적인 알고리즘의 경우, 평가된 CMI(eCMI)는 정규 분포 노이즈 하에서 O(γ²n²/σ²)로 경계되며, 이에 따라 일반화 오차 경계는 O(γ + 1/n)가 된다.
• 이 프레임워크는 제곱 오차 및 허프 손실을 포함한 비선형 손실로도 확장되며, 이러한 경우에 대해 명시적인 경계가 도출된다.