[论文解读] Deep Dimension Reduction for Supervised Representation Learning

Jian Huang, Yuling Jiao+3 more|arXiv (Cornell University)|Jun 10, 2020

Machine Learning and Data Classification参考文献 71被引用 4

一句话总结

本文提出深度降维（DDR），一种非参数深度学习框架，通过基于条件独立性和f-散度的优化目标，学习低维、解耦且充分的表示，用于监督学习。该方法在过剩风险上保证了一致性，并在分类和回归任务中优于现有的降维与深度学习方法。

ABSTRACT

The goal of supervised representation learning is to construct effective data representations for prediction. Among all the characteristics of an ideal nonparametric representation of high-dimensional complex data, sufficiency, low dimensionality and disentanglement are some of the most essential ones. We propose a deep dimension reduction approach to learning representations with these characteristics. The proposed approach is a nonparametric generalization of the sufficient dimension reduction method. We formulate the ideal representation learning task as that of finding a nonparametric representation that minimizes an objective function characterizing conditional independence and promoting disentanglement at the population level. We then estimate the target representation at the sample level nonparametrically using deep neural networks. We show that the estimated deep nonparametric representation is consistent in the sense that its excess risk converges to zero. Our extensive numerical experiments using simulated and real benchmark data demonstrate that the proposed methods have better performance than several existing dimension reduction methods and the standard deep learning models in the context of classification and regression.

研究动机与目标

• 开发一种原则性的深度学习方法，用于监督表示学习，确保学习到的表示具有充分性、低维性和解耦性。
• 利用深度神经网络将充分降维（SDR）推广到非线性、非参数设置。
• 将表示学习表述为最小化一个优化目标函数，该函数在总体层面强制实现条件独立性并促进解耦。
• 通过证明过剩风险收敛于零，建立所学表示的理论一致性。
• 在基准数据集上，与标准深度学习和现有降维方法相比，展示出优越的实验性能。

提出的方法

• 将理想的表示学习任务表述为最小化一个优化目标函数，该函数通过f-散度和距离相关性刻画条件独立性，并促进解耦。
• 使用深度神经网络在样本层面非参数地估计目标表示，从而灵活建模复杂且非线性的关系。
• 采用两阶段学习框架：表示网络 $ D_{m{ heta}} $ 和预测网络 $ R_{m{ heta}} $，联合优化以最小化过剩风险。
• 应用对称化和Rademacher复杂度技术，对经验过程进行有界处理，并建立泛化误差界。
• 利用覆盖数和基于VC维的复杂度控制方法，管理深度网络类的容量，确保一致性。
• 通过证明估计表示的过剩风险随着样本量增加而收敛于零，推导出理论一致性。

实验结果

研究问题

• RQ1 能否设计一种非参数深度学习框架，以学习适用于监督学习的充分、低维且解耦的表示？
• RQ2 在非线性、非参数设置下，如何强制实现给定表示下输入与响应之间的条件独立性？
• RQ3 在该框架下，能够为深度表示学习的一致性建立哪些理论保证？
• RQ4 在分类和回归任务中，所提出的DDR方法与标准深度学习及现有降维技术相比，性能如何？
• RQ5 该方法能否在无需强参数假设的情况下，有效处理高维复杂数据（如图像和自然语言）？

主要发现

• 所提出的DDR方法实现了稳定估计，随着样本量增加，学习表示的过剩风险收敛于零。
• 在模拟数据和真实基准数据集上的大量实验表明，DDR在分类和回归任务中均优于多种现有降维方法和标准深度学习模型。
• 该方法成功学习到低维、解耦的表示，同时保留了关于响应变量的所有相关信息，满足条件独立性原理。
• 理论分析证实，泛化误差通过Rademacher复杂度和覆盖数界得到控制，确保了鲁棒性和一致性。
• DDR在高维数据（包括类似图像的数据集）上表现出色，而线性方法因无法捕捉非线性结构而失效。
• 该框架通过使用深度神经网络在非线性、非参数设置下扩展了经典SDR，无需依赖线性或恒定协方差假设。