[論文レビュー] Information Theory of Penalized Likelihoods and its Statistical Implications

Sabyasachi Chatterjee, Andrew R. Barron|arXiv (Cornell University)|Jan 27, 2014

Machine Learning and Algorithms参考文献 3被引用数 4

ひとこと要約

この論文は、ガウスグラフィカルモデルにおける$l_1$ペナルティの情報理論的妥当性を確立し、線形回帰における伝統的な$l_0$ペナルティに対して、条件付き2段階の記述長解釈を提供する。リスクバウンドを導出し、下位の項が有界な状態で、標準の$l_0$ペナルティ項の2倍が、パラメータ空間が非可算であっても、記述長の妥当性と統計的リスクの妥当性を持つことを示す。

ABSTRACT

We extend the correspondence between two-stage coding procedures in data compression and penalized likelihood procedures in statistical estimation. Traditionally, this had required restriction to countable parameter spaces. We show how to extend this correspondence in the uncountable parameter case. Leveraging the description length interpretations of penalized likelihood procedures we devise new techniques to derive adaptive risk bounds of such procedures. We show that the existence of certain countable coverings of the parameter space implies adaptive risk bounds and thus our theory is quite general. We apply our techniques to illustrate risk bounds for $\ell_1$ type penalized procedures in canonical high dimensional statistical problems such as linear regression and Gaussian graphical Models. In the linear regression problem, we also demonstrate how the traditional $l_0$ penalty times $\frac{\log(n)}{2}$ plus lower order terms has a two stage description length interpretation and present risk bounds for this penalized likelihood procedure.

研究の動機と目的

• 可算でないパラメータ空間へのペナルティ付き尤度推定の情報理論的基礎を拡張すること、特にガウスグラフィカルモデルに対して。
• 従来の$l_0$ペナルティの記述長解釈における無限大の剰余項の問題を解決し、$2 \times \frac{\dim(\theta)}{2}\log n + o(n)$ がパラメータ空間上で有界のまま保たれることを示すこと。
• ガウスグラフィカルモデルにおける$l_1$ペナルティが、MDLフレームワーク下で記述長の妥当性と統計的リスクの妥当性の両方を満たすことを示すこと。
• バタチンダ距離を用いたペナルティ付き尤度推定器のリスクバウンドを導出し、推定における冗長性と解消可能性を結びつけること。
• $l_0$ペナルティに対して、条件付き2段階の記述長解釈を提供し、Kraftの和が収束し、統計的一貫性が保証されることを示すこと。

提案手法

• ペナルティ付き尤度を記述長として解釈する2段階符号フレームワークを用い、可算近似$\tilde{\theta} \subset \Theta$ を通じてKraftの不等式を満たす。
• 不等式$\min_{\theta \in \Theta} \{-\log P_\theta(Z) + \text{pen}(\theta)\} \geq \min_{\tilde{\theta} \in \tilde{\Theta}} \{-\log P_{\tilde{\theta}}(Z) + \mathcal{L}(\tilde{\theta})\}$ を用いて記述長の妥当性を定義し、ここで$\mathcal{L}$ は有効な記述長である。
• $\chi^2$分布に従う残差のモーメント生成関数（MGF）を用いて、尤度比項の尾部挙動を制御する。
• 条件付き記述長$\mathcal{L}(\tilde{\theta} \mid Z_{\text{in}}) = -\log h(\tilde{\theta}, Z_{\text{in}}) + \log M(Z_{\text{in}})$ を導出し、Kraftの和が収束することを保証する。
• 不等式$\mathbb{E} B_{\text{tot}}(P, P_{\hat{\theta}}) \leq \mathbb{E} \min_{\theta \in \Theta} \left( \log \frac{P(Z)}{P_\theta(Z)} + \text{pen}(\theta) \right)$ を用いてリスクバウンドを確立し、冗長性とリスクを結びつける。
• ハダマードの不等式と幾何級数の和を用いて、ペナルティにおける行列式および正規化項をバウンドし、主要な項が$k(\theta)\log n$ であることを示す。

実験結果

リサーチクエスチョン

• RQ1 ガウスグラフィカルモデルにおける$l_1$ペナルティは、可算でないパラメータ空間であっても、MDL原則に基づく有効な記述長として解釈可能か？
• RQ2 線形回帰における伝統的な$l_0$ペナルティは、有界な剰余項を伴う条件付き2段階の記述長解釈を有するか？
• RQ3 高次元設定において、バタチンダ距離と冗長性の議論を用いて、ペナルティ付き尤度推定器のリスクバウンドを導出可能か？
• RQ4 パラメータ空間上で$o(n)$の剰余項が有界である場合、$2 \times \frac{\dim(\theta)}{2}\log n$ ペナルティ項は記述長の妥当性と統計的リスクの妥当性を両方満たすか？
• RQ5 記述長バウンドの導出において、$\chi^2$分布のモーメント生成関数が尤度比の尾部挙動を制御する役割を果たすか？

主な発見

• ガウスグラフィカルモデルにおける$l_1$ペナルティは、MDLフレームワーク下で記述長の妥当性と統計的リスクの妥当性の両方を満たし、冗長性リスクバウンドが$\mathbb{E} B_{\text{tot}}(P, P_{\hat{\theta}}) \leq \mathbb{E} \min_{\theta} \left( \log \frac{P(Z)}{P_\theta(Z)} + \text{pen}(\theta) \right)$ の形で与えられる。
• 従来の$l_0$ペナルティ$\frac{\dim(\theta)}{2}\log n + o(n)$ は、2倍にした場合に記述長の妥当性が保証され、$o(n)$ 項がパラメータ空間上で有界であることが示された。
• 条件付き2段階の記述長解釈が$l_0$ペナルティに対して確立され、ペナルティ項$\text{pen}(\theta \mid Z_{\text{in}})$ には$k(\theta)\log n + 2\log \binom{p}{k(\tilde{\theta})} + \log \det(X_{\text{in},S}^T X_{\text{in},S}) + \text{有界な項}$ が含まれる。
• 期待リスクバウンドは$\mathbb{P} B(P_{\theta^*}, P_{\hat{\theta}}) \leq \frac{2}{n-p} \log \left( \frac{1}{2 - \sqrt{2}} \right) + \frac{1}{n-p} \mathbb{E} \min_{\theta} \left( \log \frac{P_{\theta^*}(Z)}{P_\theta(Z)} + \text{pen}(\theta) \right)$ であり、ここで$\hat{\theta}$ はペナルティ付き最小二乗推定量である。
• ペナルティに現れる2の因子は、$\chi^2$分布のMGFが$1/4$における値に起因し、加法的定数を調整することで1より大きい任意の値にまで低下可能であり、妥当性は保たれる。
• 導出は$n \to \infty$ の下で$p/n \to c$ の範囲で成り立つため、低次元の漸近的状況を超えた適用可能性が示された。