[論文レビュー] On Bayes Risk Lower Bounds

Xi Chen, Adityanand Guntuboyina+1 more|arXiv (Cornell University)|Oct 2, 2014

Statistical Methods and Inference参考文献 54被引用数 4

ひとこと要約

本稿では、任意の損失関数および事前分布に対して適用可能な、f-情報量を用いたベイズリスクのタイトな下界を導出する一般化された手法を提案する。これは、古典的な結果（例えばファーノの不等式）を一般化し、スムーズ化解析下での高次元スパース線形回帰およびガウス・ミクスチャ・モデルに対する新たなミニマックス下界を提供する。

ABSTRACT

This paper provides a general technique for lower bounding the Bayes risk of statistical estimation, applicable to arbitrary loss functions and arbitrary prior distributions. A lower bound on the Bayes risk not only serves as a lower bound on the minimax risk, but also characterizes the fundamental limit of any estimator given the prior knowledge. Our bounds are based on the notion of $f$-informativity, which is a function of the underlying class of probability measures and the prior. Application of our bounds requires upper bounds on the $f$-informativity, thus we derive new upper bounds on $f$-informativity which often lead to tight Bayes risk lower bounds. Our technique leads to generalizations of a variety of classical minimax bounds (e.g., generalized Fano's inequality). Our Bayes risk lower bounds can be directly applied to several concrete estimation problems, including Gaussian location models, generalized linear models, and principal component analysis for spiked covariance models. To further demonstrate the applications of our Bayes risk lower bounds to machine learning problems, we present two new theoretical results: (1) a precise characterization of the minimax risk of learning spherical Gaussian mixture models under the smoothed analysis framework, and (2) lower bounds for the Bayes risk under a natural prior for both the prediction and estimation errors for high-dimensional sparse linear regression under an improper learning setting.

研究の動機と目的

• 任意の損失関数および事前分布に対して、統計的推定におけるベイズリスクの下界を導出する一般化された手法の開発。
• ファーノの不等式のような古典的なミニマックス境界を、非一様事前分布および連続的パラメータ空間へと拡張すること。
• ミニマックスリスクを超えて、事前知識が利用可能な状況における推定の根本的限界を特定すること。
• 高次元統計における具体的な問題、特にスパース線形回帰および主成分分析への境界の応用。
• 特にスムーズ化解析フレームワークおよび不正則学習設定下での機械学習分野における新たな理論的結果の確立。

提案手法

• 手法は、与えられた事前分布下でのパラメータとデータの統計的依存度を測るf-情報量に基づく。
• 著者らはf-情報量の新たな上界を導出し、それをもとにタイトなベイズリスク下界を構築する。
• 被覆数とカイ二乗発散を用いて、特定のモデル下での情報量の制御を実現する。
• 非一様事前分布および任意のパラメータ空間・行動空間を許容する点で、ファーノの不等式を一般化する。
• 明示的な情報量境界の計算を通じて、ガウス位置モデル、一般化線形モデル、スパイク分散共分散モデルにこの手法を適用する。
• 高次元問題では、スパース制約と固有値条件を用いて、非漸近的下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 任意の損失関数および事前分布に適用可能な、一般化されたベイズリスク下界を導出できるか？
• RQ2 複雑なモデルにおいて、タイトなベイズリスク下界を導くためにf-情報量をどのように上界で抑えられるか？
• RQ3 自然な事前分布下での高次元スパース線形回帰における推定の根本的限界は何か？
• RQ4 ベイズリスク下界は、統計的意思決定理論におけるミニマックスリスクおよびミニマックスレジストとどのように関係するか？
• RQ5 提案されたフレームワークは、ガウス・ミクスチャ学習におけるスムーズ化解析モデル下で、新たなミニマックス下界を導出できるか？

主な発見

• 本稿では、f-情報量を用いた一般化されたベイズリスク下界を確立し、非一様事前分布および連続空間への一般化を含むファーノの不等式を包含・拡張する。
• 高次元スパース線形回帰において、自然な事前分布と不正則学習設定下で、タイトなベイズリスク下界が得られる。
• 著者らは、スムーズ化解析フレームワーク下での球面ガウス・ミクスチャ・モデルの学習におけるミニマックスリスクを明確に特定する。
• スパイク分散共分散モデルにおいて、スパース固有値条件の下で、ベイズリスク下界がタイトであることが示された。
• 被覆数を用いてカイ二乗情報量を上界で抑え、ガウス位置モデルに対して、$\Omega(\kappa_\ell^2 k \tau^2 / (\kappa_\ell^2 \tau^2 n + \sigma^2))$ のオーダーの非漸近的下界が得られた。
• 離散モデルにおいて、ベイズリスク下界が $1 - \frac{I(w,\mathcal{P}) + \log 2}{\log N}$ 以上であることが示され、ファーノの不等式が一様事前分布を超えて一般化された。