[论文解读] Dimension Estimation Using Autoencoders

Nitish Bahadur, Randy Paffenroth|arXiv (Cornell University)|Sep 24, 2019

Neural Networks and Applications参考文献 36被引用 9

一句话总结

本文提出了一种新颖的方法，通过将自编码器的潜在层表征转换为奇异值代理，利用自编码器估计内在维度。结果表明，在MNIST数字和S&P 500数据上，自编码器的维度估计值低于PCA，且更具变异性，同时提出了调节正则化以稳定估计的关键设计准则。

ABSTRACT

Dimension Estimation (DE) and Dimension Reduction (DR) are two closely related topics, but with quite different goals. In DE, one attempts to estimate the intrinsic dimensionality or number of latent variables in a set of measurements of a random vector. However, in DR, one attempts to project a random vector, either linearly or non-linearly, to a lower dimensional space that preserves the information contained in the original higher dimensional space. Of course, these two ideas are quite closely linked since, for example, doing DR to a dimension smaller than suggested by DE will likely lead to information loss. Accordingly, in this paper we will focus on a particular class of deep neural networks called autoencoders which are used extensively for DR but are less well studied for DE. We show that several important questions arise when using autoencoders for DE, above and beyond those that arise for more classic DR/DE techniques such as Principal Component Analysis. We address autoencoder architectural choices and regularization techniques that allow one to transform autoencoder latent layer representations into estimates of intrinsic dimension.

研究动机与目标

• 为解决自编码器在维度估计中应用的空白，这一任务传统上由PCA等线性方法主导。
• 开发将自编码器潜在表征系统转换为奇异值代理的有效准则，以支持维度估计。
• 在真实世界数据集（如MNIST和S&P 500）上，将基于非线性自编码器的维度估计与线性PCA和Isomap进行比较。
• 研究自编码器维度估计对超参数的敏感性，特别是正则化强度λ，在金融时间序列中的表现。
• 为在维度估计中实际应用深度自编码器提供一个具有可测量性与可解释性的框架。

提出的方法

• 该方法利用自编码器学习数据的非线性低维表征，将潜在层激活视为奇异值的代理。
• 通过L2权重衰减（λ）施加正则化，以控制潜在激活的大小，随后用于估计内在维度。
• 通过识别激活幅度超过阈值（例如，累积和的1%）的潜在单元数量，或捕捉90%的总激活能量来估计维度。
• 通过将SVD输出替换为学习到的潜在表征，将经典的基于奇异值的维度估计方法（如碎石图分析）扩展至非线性深度自编码器。
• 通过滑动窗口在MNIST数字和S&P 500每日对数收益上验证该方法，生成维度估计的时间序列。
• 通过改变λ并观察市场压力事件期间潜在激活分布的变化，进行敏感性分析。

实验结果

研究问题

• RQ1 如何系统性地将自编码器潜在表征转换为奇异值代理，以实现维度估计？
• RQ2 在MNIST数字上，基于自编码器的维度估计与线性方法（如PCA和Isomap）相比如何？
• RQ3 正则化强度λ对基于自编码器的维度估计稳定性与准确性有何影响？
• RQ4 在金融时间序列中，如市场急剧下跌期间，自编码器的维度估计如何响应市场压力？
• RQ5 自编码器是否能比线性方法更敏感地检测到S&P 500收益等复杂高维数据的内在维度变化？

主要发现

• 在MNIST数字上，自编码器的维度估计值在19至22之间（数字0–9，除数字1外），显著低于PCA的30–32范围。
• 在S&P 500上，自编码器的维度估计值方差高于PCA，表明对市场动态和调参参数更具敏感性。
• 在市场压力事件（如2011年8月8日6%的下跌）期间，自编码器潜在激活表现出显著变化，表明对波动率具有响应能力。
• 数字1的维度估计值在所有方法中均保持较低（13–19），表明其结构更简单，可能反映更低的内在维度。
• 增加正则化强度λ系统性地降低了潜在激活的大小，影响了维度估计过程中显著分量的数量。
• 自编码器生成的维度估计时间序列比PCA更敏锐地捕捉到市场压力时期，表明通过维度变化检测系统性风险具有潜力。