[논문 리뷰] Bayesian Cramér-Rao Bound for Noisy Non-Blind and Blind Compressed Sensing

Hadi Zayyani, Massoud Babaie‐Zadeh외 1명|arXiv (Cornell University)|2010. 05. 24.

Sparse and Compressive Sensing Techniques참고 문헌 16인용 수 6

한 줄 요약

이 논문은 노이즈가 있는 측정값을 가진 비맹춤 및 맹춤 압축 측정법에 대해 베이지안 크래머-라오 경계(BCRB)를 유도하며, 희박 계수 추정기의 평균 제곱 오차에 대한 이론적 하한을 제공한다. 실용적 알고리즘이 이 경계를 상당히 빈도 높게 하회함을 보여주며, 특히 측정률이 낮을 경우 근본적인 성능 격차가 존재함을 시사한다.

ABSTRACT

In this paper, we address the theoretical limitations in reconstructing sparse signals (in a known complete basis) using compressed sensing framework. We also divide the CS to non-blind and blind cases. Then, we compute the Bayesian Cramer-Rao bound for estimating the sparse coefficients while the measurement matrix elements are independent zero mean random variables. Simulation results show a large gap between the lower bound and the performance of the practical algorithms when the number of measurements are low.

연구 동기 및 목표

• 통계적 추정 이론을 사용하여 압축 측정법에서 희박 신호 재구성의 이론적 성능 한계를 설정하기.
• 크래머-라오 경계를 베이지안 프레임워크로 확장하여 편향 및 비편향 추정기 모두에 대한 경계를 가능하게 하기.
• 비맹춤 CS(알려진 기저 및 측정 행렬)와 맹춤 CS(알 수 없는 기저, 알 수 없는 측정 행렬)를 모두 분석하기.
• 저측정 레이트 환경에서 이론적 한계와 실용적 알고리즘 성능 간 격차를 정량화하기.

제안 방법

• 데이터와 사전 정보를 통합하여 피셔 정보 행렬의 역행렬로 베이지안 크래머-라오 경계(BCRB)를 유도한다.
• 피셔 정보 행렬을 데이터에 의존하는 성분(J_D)과 사전에 의존하는 성분(J_P)으로 분해한다.
• 희박 계수를 소규모 분산 성분을 가진 혼합 정규분포로 모델링하여 베르누이-가우시안 사전을 근사한다.
• 혼합 모델 하에서 사전의 로그의 이阶 도함수를 분석적으로 평가하여 사전 정보 행렬 J_P를 계산한다.
• 변수 변경과 특수 함수(오차 함수)를 사용하여 BCRB 계산에서 발생하는 분석적으로 다루기 어려운 적분을 해석적으로 평가한다.
• 이 경계를 비맹춤 및 맹춤 CS에 적용하며, 맹춤 CS에서는 측정 행렬이 알려져 있지 않아 추정되어야 한다는 점을 고려한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 압축 측정법에서 희박 계수 복원에 대한 추정 오차의 이론적 하한은 무엇인가?
• RQ2 실용적 압축 측정법 알고리즘의 성능은 이 이론적 하한과 어떻게 비교되는가?
• RQ3 알 수 없는 측정 행렬을 갖는 맹춤 추정이 추정 정확도에 어떤 영향을 미치는가?
• RQ4 베이지안 프레임워크에서 희박성에 대한 사전 가정(예: 베르누이-가우시안)은 BCRB에 어떤 영향을 미치는가?

주요 결과

• 베이지안 크래머-라오 경계는 편향이 있는 추정기 포함, 모든 추정기의 평균 제곱 오차에 대한 근본적인 하한을 제공한다.
• BCRB는 비맹춤 및 맹춤 압축 측정법 모두에 대해 유도되었으며, 각 경우에 대해 별도의 수식이 존재한다.
• 시뮬레이션 결과는 BCRB와 실용적 알고리즘 간에 상당한 성능 격차가 있음을 보여주며, 측정 수가 낮을수록 더욱 두드러진다.
• 사전 정보 행렬 J_P는 (1−p)/σ²로 근사되며, 여기서 p는 희박성 확률이고 σ는 비영인 계수의 분산이다.
• 데이터 정보 행렬 J_D는 로그우도의 이阶 도함수를 통해 계산되며, 오차 함수와 점근적 근사법을 사용하여 적분을 평가한다.