[논문 리뷰] Empirical Bayes and Full Bayes for Signal Estimation

Yanting Ma, Jin Tan외 2명|arXiv (Cornell University)|2014. 05. 08.

Sparse and Compressive Sensing Techniques참고 문헌 29인용 수 9

한 줄 요약

이 논문은 알려진 형태이지만 알려지지 않은 매개수를 가진 신호 사전 분포를 가진 경우, 신호 추정을 위한 경험 베이즈(EB) 및 전체 베이즈(FB) 프레임워크 내에서 혼합 노이즈 제거기(MixD)를 제안한다. FB를 통한 매개수에 대한 사후 불확실성의 조합과 약간의 메시지 전달(AMP)을 활용함으로써, MixD는 특히 작은 또는 중간 크기의 신호 차원에서 최소 평균 제곱 오차(MMSE)에 가까운 성능을 달성하며, 수렴 속도와 정확도 면에서 플러그인 EB 방법보다 뛰어나다.

ABSTRACT

We consider signals that follow a parametric distribution where the parameter values are unknown. To estimate such signals from noisy measurements in scalar channels, we study the empirical performance of an empirical Bayes (EB) approach and a full Bayes (FB) approach. We then apply EB and FB to solve compressed sensing (CS) signal estimation problems by successively denoising a scalar Gaussian channel within an approximate message passing (AMP) framework. Our numerical results show that FB achieves better performance than EB in scalar channel denoising problems when the signal dimension is small. In the CS setting, the signal dimension must be large enough for AMP to work well; for large signal dimensions, AMP has similar performance with FB and EB.

연구 동기 및 목표

• 신호의 매개수 사전 분포가 형태로는 알려져 있으나 매개수가 알려져 있지 않은 경우 스칼라 및 행렬 채널에서의 신호 추정 문제를 다루는 것.
• 노이즈가 있는 측정값으로부터의 신호 추정에서 경험 베이즈(EB)와 전체 베이즈(FB) 접근 방식의 성능을 비교하는 것.
• 매개수 불확실성을 FB를 통해 통합하여 추정 정확도를 향상시킨 혼합 노이즈 제거기(MixD)를 개발하고 평가하는 것.
• 압축 측정(Compressed Sensing, CS) 응용 분야에서 약간의 메시지 전달(AMP) 프레임워크 내에서 MixD 프레임워크를 적용하는 것.
• MixD와 플러그인 EB 추정기 간의 추정 정확도와 계산 속도 사이의 트레이드오프를 평가하는 것.

제안 방법

• 알 수 없는 매개수 벡터 $\theta$ 에 대한 사전 분포를 할당함으로써 전체 베이즈(FB) 접근 방식을 제안하고, 이로 인해 $f(\theta|{\bf y})$ 의 사후 분포를 계산할 수 있도록 한다.
• 모든 가능한 $\theta$ 값에 대한 가중합으로 추정기를 계산하는 혼합 노이즈 제거기(MixD)를 도입하며, 이 가중치는 $f(\theta|{\bf y})$ 로 주어져 매개수 불확실성을 반영한다.
• 알 수 없는 신호 사전 분포를 가진 압축 측정(CS) 문제를 해결하기 위해 MixD를 약간의 메시지 전달(AMP) 프레임워크 내에 적용한다.
• 플러그인 EB 방법에서 매개수 추정을 위해 최대우도(ML) 추정을 사용하며, 이를 베이지안 추정기의 입력으로 활용한다.
• AMP 내에서 스칼라 가우시안 채널 노이즈 제거 단계를 활용하여 반복적으로 신호 추정치를 개선한다.
• 알려진 노이즈 분산과 알려지지 않은 신호 매개수를 가진 베르누이 및 베르누이-가우시안(BG) 신호 모델을 사용하여 성능을 검증한다.

실험 결과

연구 질문

• RQ1 작은 또는 중간 크기의 신호 차원에서 전체 베이즈 혼합 노이즈 제거기(MixD)와 경험 베이즈(EB) 플러그인 방법 간의 평균 제곱 오차(MSE) 성능은 어떻게 비교되는가?
• RQ2 진짜 사전 매개수가 알려져 있지 않은 상황에서 MixD 접근 방식이 근사 최소 평균 제곱 오차(MMSE) 성능을 달성할 수 있는가?
• RQ3 신호 차원 $N$ 이 증가함에 따라 MixD와 EB 방법의 성능은 어떻게 변화하는가?
• RQ4 알 수 없는 매개수 사전 분포를 가진 압축 측정 설정에서 AMP-MixD의 성능은 어떠한가?
• RQ5 MixD의 계산 복잡도는 더 빠른 플러그인 EB 방법보다 어떻게 비교되는가? 정확도와 속도 사이의 트레이드오프는 어떠한가?

주요 결과

• 작은 신호 차원($N \approx 15$)에서 MixD는 MMSE보다 $1.5 \cdot 10^{-3}$ 의 초과 MSE를 기록하며, 플러그인 EB 방법은 이 성능에 도달하기 위해 $N \approx 40$ 가 필요하다.
• 신호 차원 $N$ 이 증가함에 따라 MixD와 플러그인 EB 방법 모두 이론적 MMSE에 점차 수렴하며, 초과 MSE는 0으로 수렴한다.
• 압축 측정에서 $N=10,000$ (베르누이) 및 $N=5,000$ (BG) 인 경우, AMP-MixD는 다양한 측정 수 $M$ 에 대해 이론적으로 최적의 MMSE에 매우 가까운 신호 대 잡음 비를 달성한다.
• AMP-MixD는 베르누이 및 BG 입력 케이스 모두에서 이론적 최적 MMSE에 매우 가까운 성능을 보이며, SNR 수준은 5–25 dB이고 $M$ 은 1,000에서 7,000 사이로 변동한다.
• 플러그인 EB 방법은 MixD보다 더 빠르게 실행되며, 이는 정확도와 속도 사이의 트레이드오프를 시사한다.
• BG 신호의 경우, 저차원 영역에서 MixD는 플러그인 EB 방법에 비해 특히 뚜렷한 성능 향상을 보였다.