[논문 리뷰] Sharpened Generalization Bounds based on Conditional Mutual Information and an Application to Noisy, Iterative Algorithms

Mahdi Haghifam, Jeffrey Negrea외 3명|arXiv (Cornell University)|2020. 04. 27.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 40

한 줄 요약

논문은 조건부 상호정보(CMIkD)를 정보이론적 일반화 척도와 연관 짓고, CMIkD 경계가 IOMI 경계보다 더 타이트하다는 것을 증명하며, 이를 Langevin 다이나믹스에 새로운 일반화 사전으로 적용해 최적화 궤도에서 데이터세트 인덱스를 학습한다.

ABSTRACT

The information-theoretic framework of Russo and J. Zou (2016) and Xu and Raginsky (2017) provides bounds on the generalization error of a learning algorithm in terms of the mutual information between the algorithm's output and the training sample. In this work, we study the proposal, by Steinke and Zakynthinou (2020), to reason about the generalization error of a learning algorithm by introducing a super sample that contains the training sample as a random subset and computing mutual information conditional on the super sample. We first show that these new bounds based on the conditional mutual information are tighter than those based on the unconditional mutual information. We then introduce yet tighter bounds, building on the "individual sample" idea of Bu, S. Zou, and Veeravalli (2019) and the "data dependent" ideas of Negrea et al. (2019), using disintegrated mutual information. Finally, we apply these bounds to the study of Langevin dynamics algorithm, showing that conditioning on the super sample allows us to exploit information in the optimization trajectory to obtain tighter bounds based on hypothesis tests.

연구 동기 및 목표

• 학습 시나리오 전반에서 IOMI와 CMI^k_D 간의 관계를 특성화한다.
• 무작위 인덱스 부분집합과의 상호정보와 일반화를 연결하는 새로운 일반화 경계를 도출한다.
• 궤적 정보를 활용한 일반화 사전을 사용하는 노이즈가 있는 반복 알고리즘(Langevin 다이나믹스)에 경계를 적용한다.
• 특히 학습 후반부 단계에서 기존 정보이론적 경계에 비해 새로운 경계가 경험적으로 더 촘촘해짐을 보인다.

제안 방법

• CMIkD(A) = I(W; U(k) | ~Z(k)) 를 정의하고 이를 IOMI_D(A) 및 안정성 개념과 관련지었다.
• 어떤 데이터 분포, 알고리즘, 그리고 k에 대해서도 CMIkD(A) ≤ IOMI_D(A)임을 보이고, 무한대가 아닌 매개변수 공간에서 k → ∞일 때 CMIkD(A) → IOMI_D(A)임을 보인다.
• 이전 연구의 무작위 인덱스 및 초샘플 구조를 이용한 두 가지 새로운 일반화 경계를 제시한다.
• Langevin 다이나믹스에 대해 최적화 궤도로부터 인덱스 값을 학습하는 일반화된 사전과 사후를 구성한다.
• 이전 경계보다 더 타이트한 경계가 나타나며 특히 학습 말기 단계에서 그렇다는 것을 실험적으로 보인다.

실험 결과

연구 질문

• RQ1 CMIkD(A)가 학습 시나리오 및 k에 따라 IOMI_D(A)와 어떻게 비교되는가?
• RQ2 일반화 오차를 무작위 인덱스 부분집합과의 상호정보와 연결하는 일반화 경계는 도출될 수 있는가?
• RQ3 이 경계들이 궤적 정보를 활용한 사전을 사용하는 Langevin 다이나믹스와 같은 노이즈가 있는 반복 알고리즘에 효과적으로 적용될 수 있는가?
• RQ4 다양한 과적합 시나리오에서 장기 학습에서 비공허하고 발산하지 않는 새로운 경계가 남을 수 있는가?

주요 결과

• CMIkD(A)는 어떤 데이터 분포, 알고리즘, 및 k에 대해 항상 IOMI_D(A)보다 작다.
• k가 증가하고 매개변수 공간이 유한하면 CMIkD(A)는 IOMI_D(A)로 수렴한다.
• 랜덤 인덱스 부분집합과 초샘플에 의한 두 가지 새로운 일반화 경계가 CMIkD(A)-기반 경계보다 더 촘촘하다.
• Langevin 다이나믹스를 위한 인덱스 값을 최적화 궤도로부터 학습하는 일반화된 사전이 도입된다.
• 새로운 경계가 기존 경계보다 우수하며 특히 학습 말기 및 강한 과적합에서 우수한 성능을 보인다.