[論文レビュー] Some Results on Tighter Bayesian Lower Bounds on the Mean-Square Error

Lucien Bacharach, Carsten Fritsche+2 more|arXiv (Cornell University)|Jul 22, 2019

Sparse and Compressive Sensing Techniques参考文献 21被引用数 8

ひとこと要約

本稿は、事後確率密度関数を結合密度関数の代わりに用いることで、共分散不等式を再定義することにより、平均二乗誤差（MSE）に対するよりきついベイジアン下界（BLB）の族を導入する。このよりきつい下界は、スカラーおよびベクトルパラメータ推定に一般化可能であり、古典的なベイジアンクラメール・ラオ下界（BCRB）が失敗する非線形問題において、MAPおよびMMSE推定器の漸近的タイトネスが示されており、形式的証明と数値的検証が行われている。

ABSTRACT

In random parameter estimation, Bayesian lower bounds (BLBs) for the mean-square error have been noticed to not be tight in a number of cases, even when the sample size, or the signal-to-noise ratio, grow to infinity. In this paper, we study alternative forms of BLBs obtained from a covariance inequality, where the inner product is based on the extit{a posteriori} instead of the joint probability density function. We hence obtain a family of BLBs, which is shown to form a counterpart at least as tight as the well-known Weiss-Weinstein family of BLBs, and we extend it to the general case of vector parameter estimation. Conditions for equality between these two families are provided. Focusing on the Bayesian Cramér-Rao bound (BCRB), a definition of efficiency is proposed relatively to its tighter form, and efficient estimators are described for various types of common estimation problems, e.g., scalar, exponential family model parameter estimation. Finally, an example is provided, for which the classical BCRB is known to not be tight, while we show its tighter form is, based on formal proofs of asymptotic efficiency of Bayesian estimators. This analysis is finally corroborated by numerical results.

研究の動機と目的

• 非線形推定問題、特に信号対雑音比が低いか有限標本サイズの下で、古典的なベイジアンクラメール・ラオ下界（BCRB）が緩いまたはタイトでないという、よく知られた問題に対処すること。
• ワイズ＝ワインスタイン族の下界を改善する、より一般かつきついベイジアン下界（BLB）の形式を、事後内積に基づいて開発すること。
• 新しいきつい下界に対する推定器の効率性に関する明示的条件を確立すること。特にスカラーおよび指数型分布族のパラメータ推定において。
• 理論的改善を、漸近的解析および古典的BCRBが失敗する代表的な推定問題における数値シミュレーションを通じて検証すること。

提案手法

• 事後確率密度関数を内積の基準とする共分散不等式の原理を用いて、新しいベイジアン下界の族を導出する。これは、結合密度関数ではなく、事後密度関数に基づく。
• パラメータと観測値の関数として定義されるベクトル値関数を導入することで、よりきつい下界の形式を、ベクトルパラメータ推定に一般化する。これにより、多次元問題への応用が可能になる。
• 古典的なBCRBではなく、よりきつい下界（TBCRB）に基づく新しい効率性の定義を導入し、漸近的状態における推定器の性能を評価する。
• よりきつい下界をベイジアンクラメール・ラオ下界（BCRB）の状況に適用し、TBCRBが漸近的にタイトになる条件を導出。これにより、MAPやMMSEのような推定器がこの下界に到達することを示す。
• 形式的漸近的解析を用いて、事後分布が大標本極限において、TBCRBと正確なクラメール・ラオ下界（ECRB）が一致する形に収束することを証明する。
• モンテカルロシミュレーションと記号計算（Mathematica）を用いて、さまざまな標本サイズにおけるMAPおよびMMSE推定器の実効MSEを理論的下界と比較して計算する。

実験結果

リサーチクエスチョン

• RQ1 非線形または非ガウス分布の推定問題において、ワイズ＝ワインスタイン族を改善する、よりきついベイジアン下界を導出可能か？
• RQ2 標準的推定器（MAPやMMSE）に対して、よりきついベイジアンクラメール・ラオ下界（TBCRB）が、どのような条件下で漸近的にタイトになるか？
• RQ3 古典的なBCRBではなくTBCRBに基づく新しい効率性の定義は、最適ベイジアン推定器の特徴付けにどのような影響を及えるか？
• RQ4 TBCRBと正確なクラメール・ラオ下界（ECRB）が収束する条件は何か？これは、事後分布の漸近的挙動に何を意味するか？
• RQ5 TBCRBフレームワーク下で、MAPおよびMMSE推定器の漸近的効率性について、形式的証明を確立可能か？特に、古典的BCRBが失敗する問題において。

主な発見

• 事後確率に基づく共分散不等式を用いて導出された、よりきついベイジアン下界は、標準的なワイズ＝ワインスタイン族の下界以上にきついことが証明され、スカラーおよびベクトルパラメータ推定に一般化可能である。
• 平均が未知の正規分布の分散推定という例において、TBCRBは漸近的にタイトであることが示されたが、古典的BCRBはそうではない。
• MAPおよびMMSE推定器は、TBCRBに対して漸近的に効率的であることが形式的に証明された。これは、MSEが標本サイズ $N \to \infty$ の下でTBCRBに収束することを意味する。
• 数値結果により、$N$ が大きい場合にはTBCRBとECRBが同じ値に収束することが確認され、式 (115) で導出された理論的漸近的事後分布の形が妥当であることが裏付けられた。
• 中程度の $N$ において、TBCRBと古典的BCRBの差が顕著になることが示され、古典的下界が非線形設定において真の最小MSEを過小評価していることが明らかになった。
• パラメータの事後分布は、指数型分布族の形に収束する。これにより、TBCRBがECRBと漸近的に一致することが可能となり、理論的収束が確認された。