[논문 리뷰] Tighter expected generalization error bounds via Wasserstein distance

Borja Rodríguez-Gálvez, Germán Bassi외 2명|arXiv (Cornell University)|2021. 01. 22.

Adversarial Robustness in Machine Learning참고 문헌 13인용 수 20

한 줄 요약

이 논문은 워샤르스타인 거리(Wasserstein distance)를 사용하여 더 날카운 일반화 오차 경계를 제안하며, 전체 데이터셋, 단일 문자, 랜덤 서브셋 경계를 제공하여 기존의 상대 엔트로피 기반 경계를 초월한다. 가설 공간의 기하학적 구조를 워샤르스타인 거리 측도를 통해 활용함으로써, 이 경계들은 비어 있지 않으며 기하학적 접근과 정보 이론적 접근 사이의 격차를 메운다.

ABSTRACT

This work presents several expected generalization error bounds based on the Wasserstein distance. More specifically, it introduces full-dataset, single-letter, and random-subset bounds, and their analogues in the randomized subsample setting from Steinke and Zakynthinou [1]. Moreover, when the loss function is bounded and the geometry of the space is ignored by the choice of the metric in the Wasserstein distance, these bounds recover from below (and thus, are tighter than) current bounds based on the relative entropy. In particular, they generate new, non-vacuous bounds based on the relative entropy. Therefore, these results can be seen as a bridge between works that account for the geometry of the hypothesis space and those based on the relative entropy, which is agnostic to such geometry. Furthermore, it is shown how to produce various new bounds based on different information measures (e.g., the lautum information or several $f$-divergences) based on these bounds and how to derive similar bounds with respect to the backward channel using the presented proof techniques.

연구 동기 및 목표

• 가설 공간의 기하학적 구조를 고려한 더 날카운 기대 일반화 오차 경계를 개발하는 것.
• 서로 정보가 발산할 경우 공백이 되는 경우가 있는 상대 엔트로피 기반 경계의 한계를 해결하는 것.
• 워샤르스타인 거리를 통해 정보 이론적 일반화 경계와 기하학적 통찰을 통합하는 것.
• 기존의 랜덤 서브샘플 프레임워크를 확장하여 유한하고 비어 있지 않은 경계를 도출하기 위해 워샤르스타인 기반 의존성 구조를 통합하는 것.

제안 방법

• 조건부 분포 간의 워샤르스타인 거리를 기반으로 한 전체 데이터셋, 단일 문자, 랜덤 서브셋 일반화 오차 경계를 제안한다.
• 칸토로비치-루빈스타인 이중성(Kantorovich-Rubinstein duality)을 사용하여 기대 일반화 오차를 가설 분포와 그 주변 분포 간의 워샤르스타인 거리로 표현한다.
• 공동 범위 전략과 f-분산의 변분 표현을 사용하여 경계를 유도하며, 카이 제곱 분산을 포함한다.
• 표준 및 랜덤 서브샘플 설정에 이 프레임워크를 적용하여 조건부 상호정보량 항을 통한 제어를 가능하게 한다.
• Lautum 정보량과 f-분산과 같은 다른 정보 측도를 기반으로 한 경계 유도를 허용하는 새로운 증명 기법을 도입한다.
• 역채널 의존성 구조를 활용하여 동일한 이론적 프레임워크를 통해 유사한 경계를 도출할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 워샤르스타인 거리 기반 경계는 기존의 상대 엔트로피 기반 경계보다 더 날카운 일반화 오차 추정치를 달성할 수 있는가?
• RQ2 가설 공간의 기하학적 구조를 명시적으로 모델링할 경우 워샤르스타인 기반 경계는 어떻게 성능을 발휘하는가?
• RQ3 워샤르스타인 거리를 통해 기하학적 구조를 통합함으로써 상대 엔트로피 프레임워크에서 비어 있지 않은 일반화 경계를 도출할 수 있는가?
• RQ4 랜덤 서브샘플 설정에서 워샤르스타인 기반 경계와 조건부 상호정보량 간의 관계는 어떠한가?
• RQ5 제안된 프레임워크는 f-분산과 Lautum 정보량과 같은 다른 정보 측도로 어떻게 확장될 수 있는가?

주요 결과

• 제안된 워샤르스타인 기반 경계는 기존의 상대 엔트로피 기반 경계보다 더 날카우며, 기하학적 구조를 忽略할 경우 그 경계를 아래에서 복원한다.
• 손실 함수가 유계일 경우, 상대 엔트로피 경계가 공백이 되는 경우에도 비어 있지 않은 추정치를 회복한다.
• 카이 제곱 분산의 변분 표현은 공동 범위 전략을 통해 도출된 경계보다 더 날카우며 더 일반적인 경계를 제공한다.
• 분산이 작고 카이 제곱 분산이 약 2.51 이하일 경우, 식 (15)에 제시된 카이 제곱 분산 기반 경계는 식 (5)의 핀스커 기반 경계보다 더 날카롭다.
• 이 프레임워크를 통해 Lautum 정보량과 다양한 f-분산과 같은 다른 정보 측도를 기반으로 한 새로운 경계를 통일된 증명 기법을 통해 도출할 수 있다.
• 조건부 상호정보량 항인 $ I(W;U| ilde{S}) $ 는 유한하며 무조건적 대응항보다 작아지며, 연속적인 설정에서의 강건성을 보장한다.