[논문 리뷰] An Optimal Transport View on Generalization

Jingwei Zhang, Tongliang Liu외 1명|arXiv (Cornell University)|2018. 11. 08.

Stochastic Gradient Optimization Techniques참고 문헌 34인용 수 4

한 줄 요약

이 논문은 기계학습에서 일반화 오차를 유계화하기 위해 최적 운반 이론의 새로운 프레임워크를 제안한다. 알고리즘적 운반 비용—학습 예제가 주어졌을 때 모델의 출력과 조건부 출력 간의 기대 워셔슈타인 거리—을 활용한다. 이 프레임워크는 하위-구상성 또는 유계 손실 가정 없이 경계를 도출하며, VC 차원과 KL 발산과 같은 정보 이론적 및 학습 이론적 개념과 연결한다. 또한 깊이가 증가할수록 계층적 구조와 f-발산 수축 덕분에 깊이 있는 신경망(DNN)에서 일반화 오차가 지수적으로 감소함을 보여준다.

ABSTRACT

We derive upper bounds on the generalization error of learning algorithms based on their \emph{algorithmic transport cost}: the expected Wasserstein distance between the output hypothesis and the output hypothesis conditioned on an input example. The bounds provide a novel approach to study the generalization of learning algorithms from an optimal transport view and impose less constraints on the loss function, such as sub-gaussian or bounded. We further provide several upper bounds on the algorithmic transport cost in terms of total variation distance, relative entropy (or KL-divergence), and VC dimension, thus further bridging optimal transport theory and information theory with statistical learning theory. Moreover, we also study different conditions for loss functions under which the generalization error of a learning algorithm can be upper bounded by different probability metrics between distributions relating to the output hypothesis and/or the input data. Finally, under our established framework, we analyze the generalization in deep learning and conclude that the generalization error in deep neural networks (DNNs) decreases exponentially to zero as the number of layers increases. Our analyses of generalization error in deep learning mainly exploit the hierarchical structure in DNNs and the contraction property of $f$-divergence, which may be of independent interest in analyzing other learning models with hierarchical structure.

연구 동기 및 목표

• 최적 운반 이론을 사용하여 학습 알고리즘의 일반화 오차를 분석하는 새로운 이론적 프레임워크를 개발하는 것.
• 손실 함수에 대한 제한적인 가정(예: 하향성 또는 유계성)이 필요 없는 일반화 오차 경계를 도출하는 것.
• 알고리즘적 운반 비용을 총변동, KL 발산, VC 차원과 같은 메트릭과 연결하여 최적 운반 이론과 정보 이론 및 통계 학습 이론을 연결하는 것.
• 고용량을 지닌 깊이 있는 신경망(DNN)에서의 일반화를 분석하고, 왜 이러한 네트워크가 높은 복잡도를 지닌 후에도 잘 일반화되는지 설명하는 것.
• DNN에서 일반화 오차가 깊이에 따라 지수적으로 감소함을 입증하고, 이는 계층적 구조와 f-발산 수축 덕분임을 규명하는 것.

제안 방법

• 학습 예제가 주어졌을 때 출력 가설과 그 조건부 버전 간의 기대 워셔슈타인 거리로 알고리즘적 운반 비용을 정의한다.
• 이 운반 비용에 기반하여, 분포 가정 없이 리프시츠 연속 손실 함수에 대해 유효한 일반화 오차 상한을 도출한다.
• 부등식을 사용하여 알고리즘적 운반 비용을 총변동, 상대 엔트로피, 헬링거 거리와 같은 다른 확률 메트릭과 연결한다.
• VC 차원과 복잡도 측정 기준과 같은 고전적 학습 이론을 통해 운반 비용을 유계화함으로써 고전적 학습 이론과의 연결 고리를 확립한다.
• 딥 러닝에 프레임워크를 적용하기 위해 DNN를 계층적 특징 매핑의 마르코프 체인으로 모델링하고, 상하한 비산도 부등식(SDPI)을 사용해 계층 간 상호정보량을 유계화한다.
• 계층 간 f-발산의 수축 성질을 활용하여, 최종 가설과 학습 데이터 간의 상호정보량이 깊이에 따라 지수적으로 감소함을 보여준다.

실험 결과

연구 질문

• RQ1 하향성 또는 유계 손실 함수 가정 없이 최적 운반 메트릭을 사용해 일반화 오차를 유계화할 수 있는가?
• RQ2 알고리즘적 운반 비용은 VC 차원과 같은 고전적 학습 이론 개념과 KL 발산과 같은 정보 이론적 측정 기준과 어떻게 연결될 수 있는가?
• RQ3 깊이 있는 신경망의 계층적 구조가 일반화 오차 제어에 어떤 역할을 하는가?
• RQ4 f-발산의 수축 성질을 사용해 딥 러닝에서 일반화 오차의 지수 감소를 유도할 수 있는가?
• RQ5 제안된 프레임워크는 정규화를 통해 고확률 일반화 경계와 알고리즘 설계를 어떻게 가능하게 하는가?

주요 결과

• 일반화 오차는 분포 가정 없이 리프시츠 연속 손실 함수에 대해 유효한, 학습 예제가 주어졌을 때 출력 가설과 그 조건부 버전 간의 기대 워셔슈타인 거리로 유계화된다.
• 알고리즘적 운반 비용은 총변동 거리, 상대 엔트로피, VC 차원로 유계지며, 최적 운반 이론과 정보 이론 및 학습 이론을 연결한다.
• 유계 손실 함수의 경우 총변동 유형의 일반화 경계가 도출되며, 이는 메트릭 부등식을 통해 헬링거 거리와 χ² 거리로 추가로 유계지게 할 수 있다.
• 깊이 있는 신경망에서는 계층적 구조와 계층 간 f-발산 수축 덕분에 일반화 오차가 계층 수에 따라 지수적으로 감소한다.
• 최종 가설과 학습 데이터 간의 상호정보량은 깊이에 따라 지수적으로 감소하며, 감소율은 계층 간 수축 계수의 기하 평균에 의해 결정된다.
• 이 프레임워크는 유도된 일반화 경계를 목적 함수에 통합함으로써 정규화를 설계할 수 있음을 시사하며, 피팅과 일반화의 균형을 이룬다.