[论文解读] A scale-dependent notion of effective dimension

Oksana Berezniuk, Alessio Figalli+2 more|arXiv (Cornell University)|Jan 29, 2020

Computability, Logic, AI Algorithms参考文献 11被引用 10

一句话总结

本文引入了一种基于费雪信息矩阵作为黎曼度量、通过方块计数法在 $\sqrt{n/(2\pi)}$ 尺度下计算参数空间盒维数的尺度相关有效维度。该方法通过样本大小 $n$ 对费雪矩阵进行正则化，使得维度估计仅在 $n$ 极大时收敛于真实维度 $d$，尤其当费雪矩阵的特征值高度分散时，能提供比 $d$ 更紧、更现实的上界。

ABSTRACT

We introduce a notion of "effective dimension" of a statistical model based on the number of cubes of size $1/\sqrt{n}$ needed to cover the model space when endowed with the Fisher Information Matrix as metric, $n$ being the number of observations. The number of observations fixes a natural scale or resolution. The effective dimension is then measured via the spectrum of the Fisher Information Matrix regularized using this natural scale.

研究动机与目标

• 为解决统计与机器学习中现有维度概念的局限性，这些概念假设数据无限且忽略有限样本下的分辨率限制。
• 开发一种反映有限样本大小 $n$ 下可观测复杂性的模型维度估计，考虑 $1/\sqrt{n}$ 的分辨率极限。
• 提供一种比传统概念（如 VC 维或参数计数）更准确、更实用的模型复杂性度量，尤其适用于神经网络。
• 形式化一种在参数空间缩放下不变且费雪矩阵归一化后仍保持不变的有效维度概念。
• 证明有效维度可显著小于参数计数 $d$，尤其当费雪矩阵的特征值分散时。

提出的方法

• 定义一个缩放的黎曼流形 $ (\sqrt{n/(2\pi)}\Theta, \bm{F}) $，其中 $ \bm{F} $ 为费雪信息矩阵。
• 在尺度 $ \epsilon = \sqrt{2\pi/n} $ 下使用方块计数维数估计缩放后参数空间的有效维度。
• 通过矩阵 $ \mathbf{Id}_d + \frac{n}{2\pi}\hat{\bm{F}}(\theta) $ 的行列式计算覆盖缩放空间所需的单位立方体数量，其中 $ \hat{\bm{F}} $ 为归一化的费雪矩阵。
• 将有效维度公式化为 $ \text{dim}_{\text{eff},n}(\mathcal{M}) = 2 \frac{\log \left( \frac{1}{V_\Theta} \int_\Theta \sqrt{\det(\mathbf{Id}_d + \frac{n}{2\pi}\hat{\bm{F}}(\theta))} \, d\theta \right) }{\log(n/(2\pi))} $。
• 通过其平均迹对 $ \bm{F} $ 进行归一化，以确保尺度不变性并独立于参数空间体积 $ V_\Theta $。
• 将该方法应用于神经网络，表明当 $ \hat{\bm{F}} $ 的特征值高度分散时，有效维度随 $ n $ 的增长极为缓慢。

实验结果

研究问题

• RQ1 如何定义一种依赖于有限样本大小 $ n $ 的模型有效维度，以反映统计估计的分辨率极限？
• RQ2 费雪信息矩阵的特征值谱与有效维度收敛至真实维度 $ d $ 的速率之间有何关系？
• RQ3 有效维度能否为模型复杂性提供比参数计数 $ d $ 更紧的上界，特别是在过参数化的模型（如神经网络）中？
• RQ4 为何有效维度不必然随 $ n $ 单调增加，这反映了分辨率依赖复杂性的何种本质？
• RQ5 通过其平均迹对费雪矩阵进行归一化，如何影响有效维度的不变性与可解释性？

主要发现

• 当 $ n \to \infty $ 时，有效维度 $ \text{dim}_{\text{eff},n}(\mathcal{M}) $ 收敛于真实维度 $ d $，但当归一化费雪矩阵 $ \hat{\bm{F}} $ 的特征值高度分散时，收敛速度极慢。
• 当 $ \hat{\bm{F}} = \mathbf{Id}_d $ 时，有效维度以 $ d + O(d/(n \log n)) $ 的形式趋近于 $ d $，表明在特征值均匀分布时收敛迅速。
• 在数值模拟中，由于特征值分散，即使 $ n $ 很大，有效维度仍显著小于 $ d $，证明其作为更紧复杂性上界的实用性。
• 有效维度在 $ n $ 上不一定是单调的，这反映了方块计数维数函数随尺度变化的非单调行为。
• 由于通过平均迹对 $ \bm{F} $ 进行归一化，该方法在参数空间 $ \Theta $ 缩放下保持不变，确保了不同模型参数化下解释的一致性。
• 有效维度捕捉了在分辨率 $ 1/\sqrt{n} $ 下参数空间中相关方向的数量，仅当特征值大于 $ 2\pi/n $ 时才对维度估计有显著贡献。