[論文レビュー] Compound decisions and empirical Bayes via Bayesian nonparametrics

Nikolaos Ignatiadis, Sid Kankanala|arXiv (Cornell University)|Feb 23, 2026

Gaussian Processes and Bayesian Inference被引用数 0

ひとこと要約

論文は、ディリクレ過程に基づくベイズ的非パラメトリック推定量がガウス列の複合決定においてほぼ最適な後悔（レグレット）を達成することを示しており、BNPは適法でありNPMLEは頻度論的リスクの下で inadmissible である。

ABSTRACT

We study the Gaussian sequence compound decision problem and analyze a Bayesian nonparametric estimator from an empirical Bayes, regret-based perspective. Motivated by sharp results for the classical nonparametric maximum likelihood estimator (NPMLE), we ask whether an analogous guarantee can be obtained using a standard Bayesian nonparametric prior. We show that a Dirichlet-process-based Bayesian procedure achieves near-optimal regret bounds. Our main results are stated in the compound decision framework, where the mean vector is treated as fixed, while we also provide parallel guarantees under a hierarchical model in which the means are drawn from a true unknown prior distribution. The posterior mean Bayes rule is, a fortiori, admissible, whereas we show that the NPMLE plug-in rule is inadmissible.

研究の動機と目的

• ガウス列モデル内で経験的ベイズを動機づけ、固定平均ベクトルの下で RMSE によるリスクを定量化する。
• ベイズ的非パラメトリック（BNP）事前分布と古典的な NPMLE ベースの EB 手法を後悔と適法性の観点から比較する。
• 固定 μ（複合決定）および階層的（ベイズ）データ生成設定の両方で BNP 推定量の理論的リグレット境界を確立する。
• ディリクレ過程混合の事後収束性を示し、推定量の性能への含意を導く。

提案手法

• 固定 μ を持つ複合決定設定で Z_i ~ N(μ_i, 1) のガウス列モデルを定義する。
• μ 分布にディリクレ過程 prior を置く BNP 推定量を導入し、事後平均推定量 μ̂^{BB} を形成する。
• 頻度論的リグレット境界を証明する： sup_G R(μ̂^{BB}(Π), G) - inf_{ ilde{Π}} R(μ̂^{BB}( ilde{Π}), μ) ≤ C log^{5/2} n / sqrt(n)。
• μ̂^{BB} は選択したリスクの下で適法である一方、NPMLE EB 推定量 μ̂^{EB} は適法でない。
• Leave-One-Out 表現 μ̂_i^{BB} = δ_{G(Z_{-i})}(Z_i) を提供し、事後収束とリスク保証を結びつける。
• DP(α, H) に基づくベイズ／非パラメトリック事前と、モデル下でのディリクレ過程混合の収束結果を議論する。

実験結果

リサーチクエスチョン

• RQ1 ディリクレ過程に基づく BNP 推定量はガウス列モデルにおいて NPMLE ベースの EB 手法と同等のリグレット保証を達成するか。
• RQ2 μ が固定（CD）または事前分布から抽出される（BB）場合、BNP 推定量は頻度論的リスク保証（リグレット境界）を提供できるか。
• RQ3 複合決定設定において BNP 推定量は適法か、NPMLE ベースの EB 推定量と適法性を比較してどうか。
• RQ4 この文脈における DP 事前分布の事後収束性はどのようで、推定量の性能とどう関連するか。

主な発見

• BNP 推定量 μ̂^{BB} はほぼ最適なリグレットを達成し、境界は最良の事前分布に対して log^{5/2} n / sqrt(n) のオーダーで、μ ∈ [-M, M]^n 全体に一様に適用される。
• μ̂^{BB} は複合決定設定で適法であるが、NPMLE ベースの EB 推定量 μ̂^{EB} は不適法である。
• H が [-M, M] を支持し密度が下から境界される DP(α, H) の下でも、後悔境界はすべての G ∈ 𝒫([-M, M]) に一様に成り立つ。
• Leave-One-Out 表現は μ̂_i^{BB} が Z_{-i} に基づく事後分布に依存することを示し、間接的な情報伝達を強調する。
• 事後収束結果は DP 事前分布の事後が真の混合密度の周囲に集中することを示し、μ̂^{BB} のリスク保証を可能にする。