[论文解读] Generative Adversarial Nets for Robust Scatter Estimation: A Proper Scoring Rule Perspective

Chao Gao, Yuan Yao+1 more|arXiv (Cornell University)|Mar 5, 2019

Image and Signal Denoising Methods参考文献 60被引用 10

一句话总结

该论文提出了一种基于正则评分规则的新型生成对抗网络（GANs）框架，用于鲁棒散度估计，实现了在Huber污染模型下极小极大最优协方差矩阵估计器的高效计算。研究证明，特定的神经网络架构——根据截距项是否包含，至少需要一个或两个隐藏层——可达到$\frac{p}{n} \vee \epsilon^2$的极小极大速率。

ABSTRACT

Robust scatter estimation is a fundamental task in statistics. The recent discovery on the connection between robust estimation and generative adversarial nets (GANs) by Gao et al. (2018) suggests that it is possible to compute depth-like robust estimators using similar techniques that optimize GANs. In this paper, we introduce a general learning via classification framework based on the notion of proper scoring rules. This framework allows us to understand both matrix depth function and various GANs through the lens of variational approximations of $f$-divergences induced by proper scoring rules. We then propose a new class of robust scatter estimators in this framework by carefully constructing discriminators with appropriate neural network structures. These estimators are proved to achieve the minimax rate of scatter estimation under Huber's contamination model. Our numerical results demonstrate its good performance under various settings against competitors in the literature.

研究动机与目标

• 开发一个基于正则评分规则的通用分类学习框架，用于鲁棒统计。
• 通过将GANs与鲁棒散度估计均视为f-散度的变分近似，弥合两者之间的差距。
• 设计具备足够判别能力的神经网络架构，以在Huber污染模型下实现最优鲁棒协方差估计。
• 证明所提出的估计器在污染模型下可达到$\frac{p}{n} \vee \epsilon^2$的极小极大速率。
• 将框架扩展至椭圆分布的半参数设定，表明判别器设计的复杂度得以降低。

提出的方法

• 基于正则评分规则构建通用学习框架，其与对称f-散度之间存在一一对应关系。
• 利用Savage表示法推导出平滑的目标函数，将GANs与深度函数统一于同一变分优化框架下。
• 设计使用ReLU和Sigmoid激活函数的判别器，根据是否包含截距项，确保网络深度（1或2个隐藏层）适当。
• 构建基于分类器的估计器，其中生成器学习数据分布，判别器通过正则评分规则近似f-散度。
• 应用Talagrand不等式与Rademacher复杂度，界定泛化误差并推导出高概率集中不等式。
• 利用Hölder不等式与数学归纳法，控制深层网络的Lipschitz常数，确保稳定性与收敛性。

实验结果

研究问题

• RQ1 正则评分规则能否在统一的统计框架下，将GANs与基于深度的鲁棒估计器统一起来？
• RQ2 在鲁棒散度估计中，实现极小极大最优性所需的神经网络架构是什么？
• RQ3 在判别器中包含截距节点是否会影响实现最优估计所需的网络深度？
• RQ4 所提出的框架能否在Huber污染模型下实现极小极大速率$\frac{p}{n} \vee \epsilon^2$？
• RQ5 该框架如何扩展至具有椭圆分布的半参数模型？是否能降低判别器的复杂度？

主要发现

• 所提出的框架建立了正则评分规则与对称f-散度之间的一一对应关系，实现了对GANs与深度函数的统一处理。
• 所提出的估计器达到了$\frac{p}{n} \vee \epsilon^2$的极小极大速率，与Huber污染模型下的理论下界一致。
• 不包含截距的网络至少需要一个隐藏层，而包含截距的网络至少需要两个隐藏层，以确保足够的判别能力。
• 所提出网络类的Rademacher复杂度有界，为$\lesssim \kappa B^{L-1} \sqrt{p/n}$，支持泛化保证。
• 该框架可扩展至椭圆分布，在此类分布下判别器的复杂度无需增加，表明对分布假设具有鲁棒性。
• 通过Talagrand不等式建立了高概率集中不等式，表明估计器以至少$1 - \delta$的概率偏离其期望值。