[論文レビュー] Needles and straw in a haystack: robust empirical Bayes confidence for possibly sparse sequences

Eduard Belitser, Nurzhan Nurushev|arXiv (Cornell University)|Nov 5, 2015

Statistical Methods and Inference参考文献 23被引用数 12

ひとこと要約

本稿では、過剰バイアス制約の下でオракルレートに収束する、経験ベイズ後部分布から導かれる信用区間（信用ボール）を用いて、スパース正規平均モデルにおける不確実性の定量化のためのロバストな経験ベイズ手法を開発する。この手法は、推定および後部分布の収束において適応的最小最大最適性を保証するが、信頼区間の半径に余分な対数要因が含まれており、その必要性は未解決のままである。

ABSTRACT

In the many normal means model we construct an empirical Bayes posterior which we then use for uncertainty quantification for the unknown (possibly sparse) parameter by constructing an estimator and a confidence set around it as empirical Bayes credible ball. We allow the model to be misspecified (the normality assumption can be dropped, with some moment conditions instead), leading to the robust empirical Bayes inference. An important step in assessing the uncertainty is the derivation of the fact that the empirical Bayes posterior contracts to the parameter with a local (i.e., depending on the parameter) rate which is the best over certain family of local rates; therefore called oracle rate. We introduce the so called excessive bias restriction under which we establish the local (oracle) confidence optimality of the empirical Bayes credible ball. Adaptive minimax results (for the estimation and posterior contraction problems) over sparsity classes follow from our local results. An extra (square root of) log factor appears in the radial rate of the confidence ball; it is not known whether this is an artifact or not.

研究の動機と目的

• モデルの誤指定が生じる可能性のあるスパース正規平均モデルにおける不確実性の定量化手法の開発。
• 正規性仮定が緩和された場合でさえも、局所的な後部分布収束をオラクルレートで達成することの確立。
• 過剰バイアス制約の下で最適な局所頻度的被覆を達成する信頼集合（信用ボール）の導出。
• スパース性クラスの上での推定および後部分布収束において、適応的最小最大結果を達成すること。
• 信頼区間半径に含まれる追加の対数要因が必要かどうか、あるいは分析上のアーチファクトであるかを調査すること。

提案手法

• データ駆動型事前分布を用いて経験ベイズ後部分布を構築し、厳密な正規性を仮定しないロバストな推論を可能にする。
• スパースな状況でのバイアスを制御し、オラクルレートでの後部分布濃縮を保証するために、過剰バイアス制約を課す。
• 局所リスクに依存する半径を持つ、経験ベイズ推定量を中心とする信頼集合（信用ボール）としての信頼集合を導出する。
• 厳密な正規性ではなくモーメント条件を用いることで、モデル誤指定を許容しつつ理論的保証を維持する。
• 局所リスク解析を用いて、経験ベイズ後部分布の最適収束レートを導出する。
• さまざまなスパース性クラスにおける最良の可能なレートを達成することを示すことにより、適応的最小最大性を確立する。

実験結果

リサーチクエスチョン

• RQ1 モデル誤指定の下でも、経験ベイズ推論が局所的オラクル後部分布収束レートを達成できるか。
• RQ2 経験ベイズ信用ボールが最適な頻度的被覆を提供するための条件は何か。
• RQ3 過剰バイアス制約は、スパースな状況における経験ベイズ後部分布の性能にどのように影響するか。
• RQ4 信頼区間半径に含まれる追加の対数要因は最適性のために必要なのか、それとも分析上のアーチファクトなのか。
• RQ5 提案手法は、スパース性クラス全体にわたり、推定および後部分布収束において適応的最小最大レートを達成できるか。

主な発見

• 過剰バイアス制約の下では、正規性仮定が緩和されても、経験ベイズ後部分布は真のパラメータにオラクルレートで収束する。
• 経験ベイズ信用ボールは局所的信頼最適性を達成しており、与えられた制約下で最小の信頼集合を提供する。
• さまざまなスパース性クラスにおいて、適応的最小最大推定および後部分布収束結果が確立され、ロバスト性と最適性が示された。
• 信頼区間半径には余分な（平方根の）対数要因が含まれるが、それが必要かどうかは未解決のままである。
• 厳密な正規性ではなくモーメント条件が満たされれば、手法は有効であり、モデル誤指定に対してロバストである。
• 過剰バイアス制約が、スパース的で、かつ誤指定が生じる可能性のあるモデルにおける最適な不確実性の定量化を達成するための重要な条件であることが示された。