[論文レビュー] Empirical Bayes When Estimation Precision Predicts Parameters

Jiafeng Chen|arXiv (Cornell University)|Dec 29, 2022

Fault Detection and Control Systems被引用数 8

ひとこと要約

本稿では、パラメータの事前分布における独立性という制約の強い仮定を緩和するために、推定精度を条件とするパラメータの条件付き分布を位置スケール族としてモデル化する、新たな経験的ベイズ手法「close」を提案する。この手法は二乗誤差ベイズ後悔に関してレート最適であり、最悪ケースにおいてもロバストであり、機会の地図データを用いたアメリカ合衆国国勢調査地区の高移動性地域選定において、標準的 shrinkage法を上回っており、15の移動性指標のうち6つについてランダム選択を上回る成果を上げている。

ABSTRACT

Gaussian empirical Bayes methods usually maintain a precision independence assumption: The unknown parameters of interest are independent from the known standard errors of the estimates. This assumption is often theoretically questionable and empirically rejected. This paper proposes to model the conditional distribution of the parameter given the standard errors as a flexibly parametrized location-scale family of distributions, leading to a family of methods that we call CLOSE. The CLOSE framework unifies and generalizes several proposals under precision dependence. We argue that the most flexible member of the CLOSE family is a minimalist and computationally efficient default for accounting for precision dependence. We analyze this method and show that it is competitive in terms of the regret of subsequent decisions rules. Empirically, using CLOSE leads to sizable gains for selecting high-mobility Census tracts.

研究の動機と目的

• 標準の経験的ベイズ仮定であるパラメータが推定精度と独立であるという仮定の理論的・実証的欠陥を是正すること。
• 異分散性およびパラメータ推定値とその標準誤差の間の依存関係を考慮する手法の開発。
• 最小限の仮定のもとで、提案手法の理論的最適性とロバスト性を確立すること。
• 地域ベースの経済的移動性分析における政策関連意思決定を改善すること。
• 機会の地図データを用いた実世界の応用において、本手法の実用的優位性を示すこと。

提案手法

• 標準誤差を条件とするパラメータの条件付き分布に対して、位置スケール族モデルを提案し、事前分布の独立性を緩和する。
• 提案されたモデルのもとで、混合分布を推定する非パラメトリックな最尤推定量を導出する。
• 経験過程理論と被覆数の境界を用いて、二乗誤差ベイズ後悔に関して手法のレート最適性を確立する。
• 関数族上での経験過程の上界を制御するために、サブガウス型の増分を用いたチェイングの議論を適用する。
• 部分ノルムに基づく直径制御とメトリックエントロピー積分を用いて、ψ₂-ノルムの上界を導出し、一様収束性を保証する。
• GitHubに公開されたオープンソースパッケージ「close」を用いて、R言語で手法を実装する。

実験結果

リサーチクエスチョン

• RQ1 パラメータ推定値がその精度と独立であるという仮定を緩和することで、経験的ベイズ手法を改善できるか？
• RQ2 異分散性のもとで、二乗誤差ベイズ後悔を最小化するという観点から、提案手法がレート最適か？
• RQ3 モデルの誤指定が最悪の場合にあたっても、本手法はロバスト性を保っているか？
• RQ4 標準的 shrinkage法およびランダム選択と比較して、本手法は高移動性の国勢調査地区の選定においてどの程度の性能を示すか？
• RQ5 パラメータと精度の依存関係を考慮することで、地域ベースの経済的移動性研究における政策関連の推論はどの程度改善されるか？

主な発見

• 提案された「close」手法は、二乗誤差ベイズ後悔に関してレート最適であり、与えられたモデルのもとでミニマックス収束速度を達成している。
• 二乗誤差後悔の制御は、広範な経済的意思決定問題に対して十分であり、後悔を性能指標として選択する正当性を裏付けている。
• 本手法は最悪ケースにおいてもロバストであり、モデルの誤指定下でも強力な性能を発揮する。
• 機会の地図データを用いた応用において、closeが選択した国勢調査地区の平均移動性は、標準的 shrinkage法で選択された地区よりも高い。
• 15の移動性指標のうち6つについて、closeの性能向上は、標準的 shrinkage法がランダム選択を上回る向上量を上回っている。
• 本手法の理論的保証は、経験過程技法と被覆数を用いた非漸近的確率的境界によって裏付けられている。