[論文レビュー] Dual-Space Analysis of the Sparse Linear Model

David Wipf, Yi Wu|arXiv (Cornell University)|Jul 10, 2012

Statistical Methods and Inference参考文献 20被引用数 3

ひとこと要約

本稿は、スパース線形モデルにおけるType I（MAP）とType II（尤度最適化）推定を、係数（x）空間またはハイパーパrameter（γ）空間の両方で表現することにより統一する二重空間フレームワークを導入する。主な貢献は、分析手法のパラダイム間移行を可能にすることである：Type II手法を用いることで、制限的等方性性質（RIP）が悪い状況下での回復が証明可能となり、またType I手法を用いることで、非ガウス型尤度に対してもType IIモデルのスパarsityと収束性を分析可能となる。

ABSTRACT

Sparse linear (or generalized linear) models combine a standard likelihood function with a sparse prior on the unknown coefficients. These priors can conveniently be expressed as a maximization over zero-mean Gaussians with different variance hyperparameters. Standard MAP estimation (Type I) involves maximizing over both the hyperparameters and coefficients, while an empirical Bayesian alternative (Type II) first marginalizes the coefficients and then maximizes over the hyperparameters, leading to a tractable posterior approximation. The underlying cost functions can be related via a dual-space framework from Wipf et al. (2011), which allows both the Type I or Type II objectives to be expressed in either coefficient or hyperparmeter space. This perspective is useful because some analyses or extensions are more conducive to development in one space or the other. Herein we consider the estimation of a trade-off parameter balancing sparsity and data fit. As this parameter is effectively a variance, natural estimators exist by assessing the problem in hyperparameter (variance) space, transitioning natural ideas from Type II to solve what is much less intuitive for Type I. In contrast, for analyses of update rules and sparsity properties of local and global solutions, as well as extensions to more general likelihood models, we can leverage coefficient-space techniques developed for Type I and apply them to Type II. For example, this allows us to prove that Type II-inspired techniques can be successful recovering sparse coefficients when unfavorable restricted isometry properties (RIP) lead to failure of popular L1 reconstructions. It also facilitates the analysis of Type II when non-Gaussian likelihood models lead to intractable integrations.

研究の動機と目的

• スパース線形モデルにおけるType IおよびType II推定フレームワークを、二重空間的視点から統一すること。
• 係数空間（x）とハイパーパrameter空間（γ）の間で解析的手法を移行可能にするための理解を深めること。
• 特にRIP条件が不利な状況下でもType II手法に理論的裏付けを与えること。
• マージナル化が解析的に不可能な非ガウス型尤度モデルに対しても、Type II解析を拡張すること。
• グローバルゼロ吸引性の問題を回避しつつ、スパース分類器設計を支援する原理的近似を構築すること。

提案手法

• 潜在的ハイパーパrameter γを用いてスパース事前分布を定式化し、p(x)をφ(γi)を非正規化事前分布とするガウス分布のスケール混合として表現する。
• Type I MAP推定をxおよびγの共同最小化問題に再定式化し、データ適合項、γに依存する正則化項、およびf(γi) = -2logφ(γi)を含むコスト関数を導出する。
• Type II尤度最適化を、p(γ|y)の最大化問題として再定式化し、log|Σy|とf(γi)を含むγ空間における取り扱いやすい目的関数を得る。
• [22]の二重空間フレームワークを応用し、Type IおよびType IIの両目的関数をx空間またはγ空間で表現することで、手法間の移行を可能にする。
• 変分近似を用いて周辺尤度の下界を導出し、Type II分類のための原理的近似（22）を導出する。
• ℓ₀ノルムをグローバルゼロ吸引性なしに近似する修正目的関数（25）を提案し、より少ない局所最適解を有するスパース解を実現可能にする。

実験結果

リサーチクエスチョン

• RQ1 標準的なℓ₁手法が制限的等方性性質（RIP）が悪いために失敗する状況下でも、Type II推定がスパース回復を厳密に分析可能か？
• RQ2 Type I推定で開発された手法を、ハイパーパrameter空間（γ空間）におけるType IIモデルの分析にどのように適応できるか？
• RQ3 理論的根拠を保ちつつ、スパース分類を可能にするType II目的関数の原理的近似を導出可能か？
• RQ4 ℓ₀正則化を模倣するが、ゼロ点における無限大の勾配を有さないType IIに類似した最適化目的関数を設計可能か？
• RQ5 非共役または非ガウス型尤度は、Type IIモデルの取り扱いやすさとスパarsity特性にどのように影響を与えるか？

主な発見

• RIPが不十分な状況下でも、Type II手法はスパース係数を効果的に回復可能であり、この分野でℓ₁手法が失敗する領域においても有効である。
• 二重空間フレームワークにより、Type I（x空間）の解析手法をType II（γ空間）に移行可能となり、Type IIモデルのスパarsityと収束性をx空間手法を用いて分析可能となる。
• 提案されたType II目的関数の近似（22）は、RVMの代替として理論的裏付けを持つものであり、f(γ)=0の場合には実験的性能が元のRVMと同等である。
• 定理4により、f(γ)が凹かつ非減少であるとき、Type II目的関数の任意の局所最適解において、非ゼロγiの数は最大でn個に制限され、x(II)におけるスパarsityが保証される。
• 修正目的関数（25）は、グローバルゼロ吸引性を有さずにℓ₀ノルムを近似可能であり、局所最適解の数を削減し、よりロバストなスパース回復を実現可能である。
• 非ガウス型尤度に対しても、共役性を要件としない最適化と解析が可能となるため、このフレームワークによりType II手法の適用範囲が広がる。