[논문 리뷰] Some Results on Tighter Bayesian Lower Bounds on the Mean-Square Error

Lucien Bacharach, Carsten Fritsche외 2명|arXiv (Cornell University)|2019. 07. 22.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 8

한 줄 요약

이 논문은 사후 확률 밀도를 공동 밀도 대신 사용하여 공분산 부등식을 재정의함으로써 평균 제곱 오차(MSE)에 대한 더 날카운 가족의 베이지안 하한(BLBs)을 제안한다. 이 더 날카운 하한은 벡터 매개변수 추정으로 일반화되며, 고전적 베이지안 크래머-라오 하한이 실패하는 도전적인 비선형 문제에서 MAP 및 MMSE 추정기의 점근적 날카움이 입증되며, 공식적인 증명과 수치적 검증을 통해 뒷받질린다.

ABSTRACT

In random parameter estimation, Bayesian lower bounds (BLBs) for the mean-square error have been noticed to not be tight in a number of cases, even when the sample size, or the signal-to-noise ratio, grow to infinity. In this paper, we study alternative forms of BLBs obtained from a covariance inequality, where the inner product is based on the extit{a posteriori} instead of the joint probability density function. We hence obtain a family of BLBs, which is shown to form a counterpart at least as tight as the well-known Weiss-Weinstein family of BLBs, and we extend it to the general case of vector parameter estimation. Conditions for equality between these two families are provided. Focusing on the Bayesian Cramér-Rao bound (BCRB), a definition of efficiency is proposed relatively to its tighter form, and efficient estimators are described for various types of common estimation problems, e.g., scalar, exponential family model parameter estimation. Finally, an example is provided, for which the classical BCRB is known to not be tight, while we show its tighter form is, based on formal proofs of asymptotic efficiency of Bayesian estimators. This analysis is finally corroborated by numerical results.

연구 동기 및 목표

• 비선형 추정 문제, 특히 신호 대 잡음비가 낮거나 표본 수가 유한한 경우에 고전적 베이지안 크래머-라오 하한(BCRB)이 느슨하거나 비효율적인 것으로 알려진 문제를 해결하기 위해.
• 더 일반적이고 날카운 형태의 베이지안 하한(BLBs)을 사후 내적 기반으로 개발하여, Weiss-Weinstein 가족의 하한을 개선하기 위해.
• 새로운 더 날카운 하한에 상대적인 효율성 조건을 공식적으로 수립하여, 특히 스칼라 및 지수형 가족 매개변수 추정에서의 베이지안 추정기 효율성에 대해 설명하기 위해.
• 고전적 BCRB가 실패하는 표준 추정 문제에 대해 이론적 개선을 수치적 분석과 시뮬레이션으로 검증하기 위해.

제안 방법

• 사후 확률 밀도 함수를 기반으로 내적을 정의한 공분산 부등식 원리를 사용하여 새로운 가족의 베이지안 하한을 유도한다. 이는 공동 밀도 대신 사후 밀도를 사용한다.
• 매개변수와 관측치의 벡터 값 함수를 도입하여 더 날카운 하한의 형식을 다중 매개변수 추정 문제로 일반화한다.
• 기존의 고전적 BCRB가 아닌 더 날카운 하한(TBCRB)에 상대적인 효율성의 새로운 정의를 도입하여, 점근적 영역에서 추정기 성능을 평가한다.
• 더 날카운 하한을 베이지안 크래머-라오 하한(BCRB)의 경우에 적용하여, TBCRB가 점근적으로 날카워지고 MAP 및 MMSE 추정기 등이 이 하한에 도달할 수 있는 조건을 도출한다.
• 형식적인 점근적 분석을 통해 표본 수가 증가함에 따라 사후 분포가 TBCRB와 정확한 크래머-라오 하한(ECRB)이 일치하는 형태로 수렴함을 증명한다.
• 몬테카를로 시뮬레이션과 기호 계산(Mathematica)을 활용하여 다양한 표본 크기에서 MAP 및 MMSE 추정기의 경험적 RMSE를 이론적 하한과 비교한다.

실험 결과

연구 질문

• RQ1 비선형 또는 비정규 추정 문제에서 Weiss-Weinstein 가족의 하한을 개선하는 더 날카운 형태의 베이지안 하한을 도출할 수 있는가?
• RQ2 표준 추정기인 MAP 및 MMSE에 대해 더 날카운 형태의 베이지안 크래머-라오 하한(TBCRB)이 어떤 조건에서 점근적으로 날카워지는가?
• RQ3 기존의 BCRB가 아닌 TBCRB에 상대적인 효율성의 새로운 정의는 최적의 베이지안 추정기 특성화에 어떤 영향을 미치는가?
• RQ4 TBCRB와 정확한 크래머-라오 하한(ECRB)이 수렴하는 경우는 언제이며, 이는 사후 분포의 점근적 행동에 어떤 의미를 갖는가?
• RQ5 TBCRB 프레임워크 하에서 MAP 및 MMSE 추정기의 점근적 효율성에 대한 공식적인 증명을 수립할 수 있는가? 특히 고전적 BCRB가 실패하는 문제에서.

주요 결과

• 사후 기반 공분산 부등식을 사용하여 도출된 더 날카운 형태의 베이지안 하한은 표준 Weiss-Weinstein 가족보다 적어도 동일하거나 더 날카운 것으로 입증되었으며, 다중 매개변수 추정으로 일반화되었다.
• 모르는 분산을 가진 정규분포에서 분산을 추정하는 예시에서 TBCRB는 점근적으로 날카워지지만, 고전적 BCRB는 그렇지 않다.
• MAP 및 MMSE 추정기는 TBCRB에 대해 점근적으로 효율적임을 공식적으로 증명하였으며, 이는 표본 수 $N \to \infty$일 때 MSE가 TBCRB로 수렴함을 의미한다.
• 수치적 결과는 TBCRB와 ECRB가 큰 $N$에서 동일한 값을 수렴함을 확인하였으며, 식 (115)에서 유도된 이론적 점근적 사후 형태를 검증한다.
• 중간 정도의 $N$에서 TBCRB와 고전적 BCRB 사이의 격차는 뚜렷해지며, 이는 고전적 하한이 비선형 설정에서 진짜 최소 MSE를 과소평가함을 보여준다.
• 매개변수의 사후 분포는 점차 지수형 가족 형태로 수렴하며, 이는 TBCRB가 점근적으로 ECRB와 일치함을 가능하게 하여 이론적 수렴을 확인한다.