[논문 리뷰] Chaining Mutual Information and Tightening Generalization Bounds

Amir R. Asadi, Emmanuel Abbé외 1명|arXiv (Cornell University)|2018. 06. 11.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 13

한 줄 요약

이 논문은 기계학습에서 일반화 오차 경계를 강화하기 위해 사슬(chain)과 상호정보량(mutual information) 방법을 통합하는 새로운 일반화 경계를 제안한다. 메트릭 기반의 가설 간 의존성(사슬을 통해)과 알고리즘 입력/출력 간 의존성(상호정보량을 통해)을 결합함으로써, 특히 알고리즘이 높은 확률로 작은 가설 부분집합에서 선택하는 경우, 개별적으로 사용할 경우보다 훨씬 더 날카운 경계를 달성한다.

ABSTRACT

Bounding the generalization error of learning algorithms has a long history, which yet falls short in explaining various generalization successes including those of deep learning. Two important difficulties are (i) exploiting the dependencies between the hypotheses, (ii) exploiting the dependence between the algorithm's input and output. Progress on the first point was made with the chaining method, originating from the work of Kolmogorov, and used in the VC-dimension bound. More recently, progress on the second point was made with the mutual information method by Russo and Zou '15. Yet, these two methods are currently disjoint. In this paper, we introduce a technique to combine the chaining and mutual information methods, to obtain a generalization bound that is both algorithm-dependent and that exploits the dependencies between the hypotheses. We provide an example in which our bound significantly outperforms both the chaining and the mutual information bounds. As a corollary, we tighten Dudley's inequality when the learning algorithm chooses its output from a small subset of hypotheses with high probability.

연구 동기 및 목표

• 기존의 일반화 경계가 가설 간 의존성과 알고리즘 입력/출력 간 의존성을 활용하지 못하는 한계를 해결한다.
• 딥러닝과 같은 과도한 파rameter화된 설정에서 고전적 경계(예: VC 차원, Rademacher 복잡도)가 빈약해지는 문제를 해결한다.
• 사슬(가설 의존성에 기반)과 상호정보량(입력/출력 의존성에 기반)을 통합한 통합 프레임워크를 개발한다.
• 가설 공간의 구조에 민감하고 알고리즘에 의존하는 더 날카운 일반화 경계를 제공한다.
• 제안된 경계가 개별적으로 사슬 경계와 상호정보량 경계를 초월하는 구체적 사례에서의 슈퍼리오리티를 입증한다.

제안 방법

• 스케일 $2^{-k}$에서의 중첩된 넷 $\mathcal{N}_k$를 사용하는 계층적 사슬 프레임워크를 도입하며, 각 $\mathcal{N}_k$는 가설 공간 $T$에 대한 $2^{-k}$-넷이다.
• 알고리즘의 출력 가설을 나타내는 랜덤 변수 $W$를 정의하고, 각 스케일에서 $W$를 근사하기 위해 투영 $\pi_{\mathcal{N}_k}(W)$를 사용한다.
• 텔레스코프 합을 통해 기대 일반화 오차 $\mathbb{E}[X_W]$를 경계한다: $\mathbb{E}[|X_W - X_{t_0}|] \leq \sum_{k=k_0+1}^\infty \mathbb{E}[|X_{\pi_{\mathcal{N}_k}(W)} - X_{\pi_{\mathcal{N}_{k-1}}(W)}|]$.
• Dudley의 부등식에서 하틀리 엔트로피를 상호정보량으로 대체한다: $I(\pi_{\mathcal{N}_k}(W), \pi_{\mathcal{N}_{k-1}}(W); X_T)$, 이는 알고리즘에 의존하는 경계를 가능하게 한다.
• 서브가우시안 尾 조건과 콘벡스 쌍대함수 $\psi^*$를 사용하여 증분을 경계하며, 결과적으로 $\mathbb{E}[|X_{\pi_{\mathcal{N}_k}(W)} - X_{\pi_{\mathcal{N}_{k-1}}(W)}|] \leq 3\sqrt{2} \cdot 2^{-k} \cdot \psi^{*-1}(I(\cdot; X_T) + \log 2)$를 도출한다.
• 일반 경계를 유도한다: $\mathbb{E}[X_W] \leq 3\sqrt{2} \sum_{k=k_0+1}^\infty 2^{-k} \psi^{*-1}(I(\pi_{\mathcal{N}_k}(W), \pi_{\mathcal{N}_{k-1}}(W); X_T))$.

실험 결과

연구 질문

• RQ1 사슬과 상호정보량 방법을 통합하여, 각각 개별적으로 사용할 경우보다 더 날카운 일반화 경계를 도출할 수 있는가?
• RQ2 메트릭 구조를 통한 가설 간 의존성과 상호정보량을 통한 입력/출력 간 의존성을 어떻게 동시에 활용할 수 있는가?
• RQ3 알고리즘이 가설의 작은 부분집합에서 출력을 선택할 경우 일반화 오차 경계에 어떤 영향을 미치는가?
• RQ4 출력이 가설 공간의 작은 부분집합에 집중될 경우, 제안된 방법이 Dudley의 부등식을 어떻게 향상시킬 수 있는가?
• RQ5 사슬 단계에서 상호정보량을 사용하면, 커버링 수에 기반한 고전적 사슬 경계는 어떻게 개선되는가?

주요 결과

• 가우시안 과정과 최대 선택 알고리즘을 가진 특정 사례에서, 제안된 경계는 사슬 경계(Dudley)와 상호정보량 경계를 모두 뛰어넘는다.
• 알고리즘의 출력이 작은 부분집합 $T_1 \subset T$에 집중될 경우, 경계는 $\mathbb{E}[X_W] \leq 6 \sum_{k=k_1(T)}^\infty 2^{-k} \left(\alpha \log N(T_1,d,2^{-k}) + (1-\alpha) \log N(T_2,d,2^{-k}) + H(\alpha)\right)^{1/2}$로 표현되며, 이는 Dudley의 경계보다 더 날카롭다.
• Dudley의 부등식에서 하트리 엔트로피 $\log |\mathcal{N}_k|$를 상호정보량 $I(\pi_{\mathcal{N}_k}(W), \pi_{\mathcal{N}_{k-1}}(W); X_T)$로 대체함으로써, 알고리즘에 특화된 경계 강화가 가능해진다.
• 서브가우시안 과정의 경우, 경계는 $\mathbb{E}[X_W] \leq 3\sqrt{2} \sum_{k=k_0+1}^\infty 2^{-k} \psi^{*-1}(I(\pi_{\mathcal{N}_k}(W), \pi_{\mathcal{N}_{k-1}}(W); X_T))$로 표현되며, 여기서 $\psi^*$는 모멘트 생성 함수 尾 경계의 콘벡스 쌍대함수이다.
• 알고리즘의 출력 분포가 가설 공간의 작은 부분집합에 집중될 경우, 제안된 경계는 Dudley의 부등식보다 엄밀히 더 날카롭다. 이는 $T_1$과 $T_2$를 포함한 사례에서 입증되었다.
• 이 방법은 사슬 메트릭을 통한 가설 의존성과 상호정보량을 통한 알고리즘 의존성을 모두 반영한 일반화 경계를 제공함으로써, 이전 연구에서의 두 가지 핵심 한계를 해결한다.