[論文レビュー] Empirical Bayes, SURE and Sparse Normal Mean Models

Xianyang Zhang, Anirban Bhattacharya|arXiv (Cornell University)|Feb 17, 2017

Bayesian Methods and Mixture Models参考文献 32被引用数 5

ひとこと要約

本稿では、データ駆動型の位置に中心を持つ有限混合事前分布とゼロにおける点質量を用いた、スパース正規平均モデルに対する新たな経験的ベイズ手法を提案する。EMアルゴリズムと等式順序回帰のためのPool-Adjacent-Violators（PAV）アルゴリズムを組み合わせることで、周辺尤度最大化またはSURE最小化によるハイパーパrameterの効率的推定が可能となり、信号にクラスタ構造が見られる場合、古典的手法よりも推定精度を向上させる多方向に縮小する事後中央値が得られる。

ABSTRACT

This paper studies the sparse normal mean models under the empirical Bayes framework. We focus on the mixture priors with an atom at zero and a density component centered at a data driven location determined by maximizing the marginal likelihood or minimizing the Stein Unbiased Risk Estimate. We study the properties of the corresponding posterior median and posterior mean. In particular, the posterior median is a thresholding rule and enjoys the multi-direction shrinkage property that shrinks the observation toward either the origin or the data-driven location. The idea is extended by considering a finite mixture prior, which is flexible to model the cluster structure of the unknown means. We further generalize the results to heteroscedastic normal mean models. Specifically, we propose a semiparametric estimator which can be calculated efficiently by combining the familiar EM algorithm with the Pool-Adjacent-Violators algorithm for isotonic regression. The effectiveness of our methods is demonstrated via extensive numerical studies.

研究の動機と目的

• 非ゼロ平均にクラスタ構造を有するスパース正規平均モデルに対して、柔軟な経験的ベイズフレームワークを構築すること。
• スラブ部におけるデータ駆動型位置パラメータを組み込むことで、従来のスパイクアンドスラブおよびGMLEB手法よりも推定精度を向上させること。
• 半パラメトリックモデリングを用いて、異分散設定におけるハイパーパrameter推定の計算効率を高めること。
• 混合モデルにおけるSUREに基づくハイパーパrameterチューニング手順の理論的一貫性を確立すること。
• 誤差分散が異なる場合の異分散正規平均モデルへのフレームワークの拡張。

提案手法

• スパース信号をモデル化するために、ゼロにおける点質量と、データ駆動型の位置に中心を持つd個の成分密度を有する有限混合事前分布を用いる。
• ハイパーパrameter推定にEMアルゴリズムを用い、MステップではPAVアルゴリズムによる重み付き等式順序回帰を用いて分散成分を推定する。
• 異分散性を効率的に扱うために、EMとPAVを組み合わせた半パラメトリック推定器を導入する。
• リスク性能を向上させるために、Steinの不偏リスク推定（SURE）を最小化することでハイパーパrameterをチューニングする。
• ハイパーパrameter推定の代替として、周辺尤度最大化を用いる。
• 事後中央値を、ゼロまたは最も近いデータ駆動型中心のいずれかに多方向に縮小するしきい値処理ルールとして適用する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型の成分中心を持つ有限混合事前分布は、古典的手法よりもスパース正規平均モデルにおける推定精度を向上させることができるか？
• RQ2 提案されたEM+PAVアルゴリズムは、異分散スパース正規平均モデルにおいて効率的かつ一貫性のある推定を可能にするか？
• RQ3 リスク性能の観点から、SUREに基づくハイパーパrameterチューニングは周辺尤度最大化を上回る性能を示すか？
• RQ4 事後中央値の多方向縮小特性は、スパイクアンドスラブモデルにおける従来のゼロ中心の縮小と比べてどのように異なるか？
• RQ5 提案された混合モデル下でのSUREに基づくチューニング手順の理論的一貫性は何か？

主な発見

• 提案モデルにおける事後中央値は、ゼロまたは最も近いデータ駆動型中心のいずれかに多方向に縮小するしきい値処理ルールであり、信号にクラスタ構造が見られる場合、性能が向上する。
• 数値実験の結果、非ゼロ平均にクラスタ構造が見られる場合、本手法はジェイムズ＝スティーン推定量を著しく上回る。
• SUREに基づくハイパーパrameterチューニング手順は、リスク推定の一様一貫性結果により理論的裏付けが与えられる。
• EM+PAVアルゴリズムにより、異分散モデルにおける計算が効率的になり、等式順序回帰とEMを組み合わせて分散および位置の推定が可能となる。
• ハイパーパrameter推定において一様一貫性が達成され、推定誤差は $ O_pig( ( ext{log } p)^{3/2} / ext{sqrt}(p) ig) $ のレートで減少する。
• データ駆動型中心を持つ有限混合事前分布は、スパイクアンドスラブと完全非パラメトリック事前分布の中間的な柔軟なモデルを提供し、スパarsityと適応性の両立を図る。