[论文解读] Measuring Generalization with Optimal Transport

Ching-Yao Chuang, Youssef Mroueh+3 more|arXiv (Cornell University)|Jun 7, 2021

Domain Adaptation and Few-Shot Learning参考文献 57被引用 5

一句话总结

本文提出了一种基于最优传输的新型深度神经网络泛化界，通过k-方差——一种捕捉潜在空间中聚类与分离特性的广义方差——来度量特征分布结构。所提出的k-方差归一化边缘界在多种架构和数据集上稳健地预测泛化误差，优于以往的理论度量方法，同时与经验上的鲁棒性及决策边界的性质保持一致。

ABSTRACT

Understanding the generalization of deep neural networks is one of the most important tasks in deep learning. Although much progress has been made, theoretical error bounds still often behave disparately from empirical observations. In this work, we develop margin-based generalization bounds, where the margins are normalized with optimal transport costs between independent random subsets sampled from the training distribution. In particular, the optimal transport cost can be interpreted as a generalization of variance which captures the structural properties of the learned feature space. Our bounds robustly predict the generalization error, given training data and network parameters, on large scale datasets. Theoretically, we demonstrate that the concentration and separation of features play crucial roles in generalization, supporting empirical results in the literature. The code is available at \url{https://github.com/chingyaoc/kV-Margin}.

研究动机与目标

• 解决深度学习中理论泛化界与经验观察之间的差距。
• 开发理论基础坚实、依赖数据的泛化界，使其在多种架构和超参数下具有预测能力。
• 通过最优传输形式化特征聚类与类间分离在泛化中的作用。
• 通过k-方差将基于边缘的界与学习表征的结构特性统一起来。
• 为谱范数或VC维等空洞或不一致的界提供理论上有依据的替代方案。

提出的方法

• 使用训练分布独立随机子集之间的最优传输成本作为方差的代理，将经典方差推广以捕捉数据结构。
• 将k-方差定义为基于最优传输的广义方差概念，用于度量潜在空间中特征的集中程度与分离程度。
• 通过将标准边缘乘以特征分布的k-方差，提出k-方差归一化边缘。
• 利用Wasserstein-1距离与鲁棒风险优化推导理论边缘界，建立与决策边界鲁棒性的联系。
• 将该框架应用于多分类任务，表明当特征在Wasserstein意义下类内聚类良好且类间可分时，可实现良好泛化。
• 通过训练数据与网络参数的经验估计，实现与PGDL挑战数据测试误差的强相关性。

实验结果

研究问题

• RQ1 基于最优传输的特征分布结构度量是否能改善深度学习中的泛化界？
• RQ2 k-方差作为广义方差，如何捕捉影响泛化的学习特征的结构性质？
• RQ3 k-方差归一化边缘是否能比现有理论界更准确地预测泛化误差？
• RQ4 深度网络中特征聚类、分离与泛化之间的理论关系是什么？
• RQ5 所提出的边界与梯度归一化边缘及决策边界鲁棒性有何关系？

主要发现

• k-方差归一化边缘界在PGDL挑战数据集上与泛化误差表现出强相关性，展现出在不同架构和超参数下的鲁棒性。
• 理论分析表明，有效泛化需要类内特征紧密聚类且类间在Wasserstein意义下充分分离。
• 用作方差代理的最优传输成本比标准方差或基于范数的度量更能有效捕捉特征分布的结构性质。
• 所提出的边界推广了Elsayed等人[16]的梯度归一化边缘，将理论边界与决策边界鲁棒性联系起来。
• 该边界在较弱假设下推导得出，且可基于训练数据与模型参数进行经验估计，具备实际应用潜力。
• 该方法优于经典复杂度度量（如VC维与权重范数），后者常与泛化差距呈负相关。