[논문 리뷰] Flexible signal denoising via flexible empirical Bayes shrinkage

Zhengrong Xing, Peter Carbonetto외 1명|PubMed|2016. 05. 25.

Seismic Imaging and Inversion Techniques참고 문헌 55인용 수 5

한 줄 요약

이 논문은 이질분산성과 비정규 잡음에 적응 가능한 민감한 경험베이즈 수축 방법을 소개하며, 포isson 및 이질분산성 있는 가우시안 데이터에 대한 정확한 스무딩을 가능하게 한다. 기존의 경험베이즈 접근법을 확장하여 안정적이고 계산적으로 효율적인 프레임워크를 사용함으로써 시뮬레이션에서 표준 임계치 설정 및 전용 EB 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Signal denoising-also known as non-parametric regression-is often performed through shrinkage estimation in a transformed (e.g., wavelet) domain; shrinkage in the transformed domain corresponds to smoothing in the original domain. A key question in such applications is how much to shrink, or, equivalently, how much to smooth. Empirical Bayes shrinkage methods provide an attractive solution to this problem; they use the data to estimate a distribution of underlying "effects," hence automatically select an appropriate amount of shrinkage. However, most existing implementations of empirical Bayes shrinkage are less flexible than they could be-both in their assumptions on the underlying distribution of effects, and in their ability to handle heteroskedasticity-which limits their signal denoising applications. Here we address this by adopting a particularly flexible, stable and computationally convenient empirical Bayes shrinkage method and applying it to several signal denoising problems. These applications include smoothing of Poisson data and heteroskedastic Gaussian data. We show through empirical comparisons that the results are competitive with other methods, including both simple thresholding rules and purpose-built empirical Bayes procedures. Our methods are implemented in the R package smashr, "SMoothing by Adaptive SHrinkage in R," available at https://www.github.com/stephenslab/smashr.

연구 동기 및 목표

• 이질분산성 분산과 비정규 잡음을 다루는 데 있어 기존 경험베이즈 수축 방법의 한계를 해결한다.
• 다양한 신호 노이즈 제거 문제에 적용 가능한 유연하고 안정적이며 계산적으로 효율적인 경험베이즈 프레임워크를 개발한다.
• 기존의 일정 분산 가우시안 모델을 넘어서 포isson 및 이질분산성 있는 가우시안 데이터를 포함한 경험베이즈 수축을 확장한다.
• Gaussian 평균, Gaussian 분산, Poisson 평균 등의 다양한 노이즈 모델을 하나의 통합 소프트웨어 구현을 통해 동일한 수축 원칙을 사용해 적응형 신호 스무딩을 가능하게 한다.

제안 방법

• 기본 효과의 분포를 데이터로부터 추정한 위치 및 척도 매개수를 가진 정규분포 혼합 모델로 모델링하는 민감한 경험베이즈 접근법을 채택한다.
• 계층 모델에서 혼합 분포가 알려져 있지 않을 경우 후행 평균과 분산을 계산하기 위해 델타 방법과 모멘트 근사법을 사용한다.
• 자기상관이 없는 데이터에 대해 원형 이동(shift)을 이용한 이동 불변성 수축을 적용하고, 모든 이동에 대한 결과를 평균하여 정확성과 강건성을 향상시킨다.
• 웨이블릿 계수에 대해 ash(적응형 수축) 방법을 사용하여 각 계수별로 데이터 기반의 수축 강도를 추정하는 적응형 수축을 구현한다.
• 포isson 분산을 안정화하고 포isson 설정에서 웨이블릿 기반 노이즈 제거를 가능하게 하기 위해 하르-피즈 변환을 활용한다.
• 이동 불변 변환과 수축의 효율적 계산을 위해 Rcpp를 사용해 C++ 코드와 인터페이스를 구축하여 대규모 신호 처리에 대한 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 일정 분산을 가정하지 않고 이질분산성 있는 가우시안 및 포isson 분포를 가진 신호에 대해 경험베이즈 수축을 효과적으로 확장할 수 있는가?
• RQ2 제안된 민감한 경험베이즈 방법의 성능은 표준 임계치 설정 규칙과 목적에 맞게 설계된 EB 절차와 비교해 어떻게 되는가?
• RQ3 원형 이동을 통한 이동 불변성은 비i.i.d. 노이즈 환경에서 경험베이즈 수축의 정확성을 얼마나 향상시키는가?
• RQ4 한 개의 통합 프레임워크로 가우시안 평균, 가우시안 분산, 포isson 평균 등의 다양한 신호 노이즈 제거 문제를 동일한 수축 원칙으로 처리할 수 있는가?
• RQ5 사전 분포의 민감한 모델링이 다양한 신호 유형 간 수축 정확성과 적응성에 미치는 영향은 어떠한가?

주요 결과

• 제안된 방법은 포isson 및 이질분산성 있는 가우시안 데이터의 노이즈 제거에서 경쟁적인 성능을 보이며, 표준 임계치 설정 방법을 능가하고 전용 EB 방법과 유사하거나 이를 초월한다.
• 민감한 사전 분포와 이동 불변성을 갖춘 경험베이즈 수축은 특히 희박성이나 무거운 尾部 신호 설정에서 신호 복원 정확도를 크게 향상시킨다.
• 대부분의 기존 EB 구현(예: 널리 쓰이는 ebayesthresh.wavelet 함수 포함)에서 부족한 이질분산성 있는 가우시안 데이터의 처리를 성공적으로 수행한다.
• R 패키지 smashr를 통해 다양한 노이즈 모델에서 효율적이고 확장 가능한 신호 노이즈 제거가 가능하며, 이동 불변 처리의 계산 복잡도가 O(log T)로 유지된다.
• 시뮬레이션 결과는 제안된 방법의 적응형 수축이 가우시안 및 포isson 설정 모두에서 유니버설 임계치 설정과 교차검증 기반 임계치 설정보다 더 낮은 평균 제곱오차를 유도함을 보여준다.
• 원형 이동과 모든 이동에 대한 평균 처리를 통해 안정성이 향상되고, 특히 저 SNR 환경에서 아티팩트가 감소한다.