[论文解读] Information Theory of Penalized Likelihoods and its Statistical Implications

Sabyasachi Chatterjee, Andrew R. Barron|arXiv (Cornell University)|Jan 27, 2014

Machine Learning and Algorithms参考文献 3被引用 4

一句话总结

本文建立了高斯图模型中 $l_1$ 惩罚的信息论有效性，并为线性回归中传统 $l_0$ 惩罚提供了条件两阶段描述长度解释。它推导出风险界，表明当低阶项有界时，两倍的标准 $l_0$ 惩罚项可产生既满足描述长度有效性又满足统计风险有效性的方法，即使参数空间不可数。

ABSTRACT

We extend the correspondence between two-stage coding procedures in data compression and penalized likelihood procedures in statistical estimation. Traditionally, this had required restriction to countable parameter spaces. We show how to extend this correspondence in the uncountable parameter case. Leveraging the description length interpretations of penalized likelihood procedures we devise new techniques to derive adaptive risk bounds of such procedures. We show that the existence of certain countable coverings of the parameter space implies adaptive risk bounds and thus our theory is quite general. We apply our techniques to illustrate risk bounds for $\ell_1$ type penalized procedures in canonical high dimensional statistical problems such as linear regression and Gaussian graphical Models. In the linear regression problem, we also demonstrate how the traditional $l_0$ penalty times $\frac{\log(n)}{2}$ plus lower order terms has a two stage description length interpretation and present risk bounds for this penalized likelihood procedure.

研究动机与目标

• 将惩罚似然估计的信息论基础扩展至不可数参数空间，特别是高斯图模型。
• 通过证明 $2 \times \frac{\dim(\theta)}{2}\log n + o(n)$ 在参数空间上保持有界，解决传统 $l_0$ 惩罚描述长度解释中余项无界的难题。
• 证明高斯图模型中的 $l_1$ 惩罚在 MDL 框架下同时满足描述长度有效性和统计风险有效性。
• 利用 Bhattacharyya 散度推导惩罚似然估计器的风险界，建立冗余性与可分辨性之间的联系。
• 为 $l_0$ 惩罚提供条件两阶段描述长度解释，确保 Kraft 可求和性与统计一致性。

提出的方法

• 使用两阶段编码框架，将惩罚似然解释为描述长度，通过可数近似 $\tilde{\theta} \subset \Theta$ 确保满足 Kraft 不等式。
• 通过不等式 $\min_{\theta \in \Theta} \{-\log P_\theta(Z) + \text{pen}(\theta)\} \geq \min_{\tilde{\theta} \in \tilde{\Theta}} \{-\log P_{\tilde{\theta}}(Z) + \mathcal{L}(\tilde{\theta})\}$ 定义描述长度有效性，其中 $\mathcal{L}$ 为有效描述长度。
• 对 $\chi^2$ 分布残差应用矩生成函数（MGF）界，以控制似然比项的尾部行为。
• 推导条件描述长度 $\mathcal{L}(\tilde{\theta} \mid Z_{\text{in}}) = -\log h(\tilde{\theta}, Z_{\text{in}}) + \log M(Z_{\text{in}})$，确保 Kraft 可求和性。
• 通过不等式 $\mathbb{E} B_{\text{tot}}(P, P_{\hat{\theta}}) \leq \mathbb{E} \min_{\theta \in \Theta} \left( \log \frac{P(Z)}{P_\theta(Z)} + \text{pen}(\theta) \right)$ 建立风险界，将冗余性与风险联系起来。
• 使用 Hadamard 不等式与几何级数求和，对惩罚中的行列式与归一化项进行有界，表明主导项为 $k(\theta)\log n$。

实验结果

研究问题

• RQ1 高斯图模型中的 $l_1$ 惩罚是否可在不可数参数空间上，基于 MDL 原理被解释为有效描述长度？
• RQ2 线性回归中传统的 $l_0$ 惩罚是否可具有具有有界余项的条件两阶段描述长度解释？
• RQ3 能否在高维设置下，利用 Bhattacharyya 散度与冗余性论证，推导出惩罚似然估计器的风险界？
• RQ4 当 $o(n)$ 余项在参数空间上保持有界时，$2 \times \frac{\dim(\theta)}{2}\log n$ 惩罚项是否同时具有描述长度有效性与统计风险有效性？
• RQ5 在风险界推导中，$\chi^2$ 变量的矩生成函数在控制似然比尾部行为方面起到什么作用？

主要发现

• 高斯图模型中的 $l_1$ 惩罚在 MDL 框架下同时满足描述长度有效性与统计风险有效性，其冗余风险界形式为 $\mathbb{E} B_{\text{tot}}(P, P_{\hat{\theta}}) \leq \mathbb{E} \min_{\theta} \left( \log \frac{P(Z)}{P_\theta(Z)} + \text{pen}(\theta) \right)$。
• 传统 $l_0$ 惩罚 $\frac{\dim(\theta)}{2}\log n + o(n)$ 在加倍后被证明具有描述长度有效性，且当 $o(n)$ 项在参数空间上保持有界时成立。
• 为 $l_0$ 惩罚建立了条件两阶段描述长度解释，其中惩罚项 $\text{pen}(\theta \mid Z_{\text{in}})$ 包含 $k(\theta)\log n + 2\log \binom{p}{k(\tilde{\theta})} + \log \det(X_{\text{in},S}^T X_{\text{in},S}) + \text{有界项}$。
• 期望风险界为 $\mathbb{P} B(P_{\theta^*}, P_{\hat{\theta}}) \leq \frac{2}{n-p} \log \left( \frac{1}{2 - \sqrt{2}} \right) + \frac{1}{n-p} \mathbb{E} \min_{\theta} \left( \log \frac{P_{\theta^*}(Z)}{P_\theta(Z)} + \text{pen}(\theta) \right)$，其中 $\hat{\theta}$ 最小化惩罚最小二乘。
• 惩罚中的因子 2 源于 $\chi^2$ 分布在 $1/4$ 处的矩生成函数，通过调整常数项可将其减小至任意大于 1 的值，同时保持有效性。
• 推导在 $p/n \to c$ 且 $n \to \infty$ 的情形下成立，表明其适用性超越低维渐近分析。