[논문 리뷰] Bregman Cost for Non-Gaussian Noise

Martin Burger, Yiqiu Dong외 1명|arXiv (Cornell University)|2016. 08. 26.

Statistical Methods and Inference참고 문헌 22인용 수 4

한 줄 요약

이 논문은 로그볼록(log-concave) 우도 밀도를 갖는 비정규 잡음 모델을 위한 새로운 브레만 비용 함수를 제안하며, 이러한 비용 함수 하에서 조건부 평균(CM) 추정과 최대사후확률(MAP) 추정이 모두 적절한 베이즈 추정기임을 증명한다. 또한 오차가 정규화 기능에 의해 유도된 브레만 거리로 측정될 경우, CM 추정이 MAP 추정을 능가함을 보이며, 이는 정규 잡음 모델을 초월하는 결과이다.

ABSTRACT

One of the tasks of the Bayesian inverse problem is to find a good estimate based on the posterior probability density. The most common point estimators are the conditional mean (CM) and maximum a posteriori (MAP) estimates, which correspond to the mean and the mode of the posterior, respectively. From a theoretical point of view it has been argued that the MAP estimate is only in an asymptotic sense a Bayes estimator for the uniform cost function, while the CM estimate is a Bayes estimator for the means squared cost function. Recently, it has been proven that the MAP estimate is a proper Bayes estimator for the Bregman cost if the image is corrupted by Gaussian noise. In this work we extend this result to other noise models with log-concave likelihood density, by introducing two related Bregman cost functions for which the CM and the MAP estimates are proper Bayes estimators. Moreover, we also prove that the CM estimate outperforms the MAP estimate, when the error is measured in a certain Bregman distance, a result previously unknown also in the case of additive Gaussian noise.

연구 동기 및 목표

• 추가 정규 잡음 외의 일반적인 비정규 잡음 모델, 특히 로그볼록 우도 밀도를 갖는 모델로 베이지안 역문제의 이론적 기반을 확장하기 위해.
• 비정규 잡음 하에서 CM과 MAP 추정이 적절한 베이즈 추정기로 작용하는 데 적합한 새로운 비용 함수를 규명하기 위해.
• 브레만 거리 기반 오차 측정을 통해 CM과 MAP 추정의 성능을 비교하기 위해.
• 특정 브레만 거리 기준으로 기대값에서 최적임이 보장되는 조건을 설정하기 위해.

제안 방법

• 볼록 함수와 하부도수를 기반으로 하여 CM 추정과 MAP 추정 각각에 대응하는 두 가지 새로운 브레만 비용 함수를 도입한다.
• 브레만 거리 프레임워크를 사용하여 일반적인 로그볼록 우도 밀도 하에서 CM과 MAP가 적절한 베이즈 추정기로 작용하도록 하는 비용 함수를 정의한다.
• 베이즈 추정 이론을 적용하여 CM 추정이 브레만 거리의 선형 조합에 대한 기대 비용을 최소화함을 보여준다.
• CM 추정이 진정한 해에 대한 기대 브레만 거리 측면에서 MAP 추정을 능가하는 조건을 유도한다.
• MAP 중심의 사후 분포를 활용하여 CM 추정기의 최적성 조건을 분석한다.
• 모든 비용 함수가 볼록 함수의 브레만 거리의 선형 조합이며 사후 기대값이 유한한 경우, CM 추정이 임의의 비용 함수에 대해 베이즈 추정기임을 증명한다.

실험 결과

연구 질문

• RQ1 로그볼록 우도 밀도를 갖는 비정규 잡음 모델 하에서 CM과 MAP 추정이 적절한 베이즈 추정기로 간주될 수 있는가?
• RQ2 비정규 잡음 하에서 CM과 MAP 추정이 베이지안 관점에서 최적임이 보장되는 데 적합한 비용 함수는 무엇인가?
• RQ3 오차가 브레만 거리로 측정될 경우, CM 추정의 성능은 MAP 추정과 어떻게 비교되는가?
• RQ4 기대 브레만 거리 측면에서 CM 추정이 MAP 추정을 능가하는 조건은 무엇인가?
• RQ5 CM 추정의 비용 함수는 사전 및 우도와 독립적일 수 있는가? 즉, 정규 분포의 경우와 동일한 일반화가 가능한가?

주요 결과

• CM 추정은 볼록 함수의 브레만 거리의 선형 조합이며 사후 기대값이 유한한 모든 비용 함수에 대해 베이즈 추정기이다.
• MAP 추정은 로그볼록 우도 하에서 데이터 적합성 항과 정규화 항으로부터 유도된 브레만 비용 함수에 대해 베이즈 추정기이다.
• 오차가 정규화 기능에 의해 유도된 브레만 거리로 측정될 경우, CM 추정이 MAP 추정을 능가한다. 즉, $\mathbb{E}[D_R(u, \hat{u}_{\text{CM}})] \leq \mathbb{E}[D_R(u, \hat{u}_{\text{MAP}})]$.
• CM 추정의 비용 함수는 사전 및 우도와 독립적일 수 있으며, 이는 정규 분포의 경우에 알려진 결과의 일반화이다.
• CM이 브레만 거리 기준에서 MAP를 능가한다는 결과는 정규 분포의 경우와는 정반대이며, 이는 비정규 설정에서의 핵심적 차이를 드러낸다.
• 제안된 브레만 비용 프레임워크는 CM과 MAP 추정의 이론적 타당성을 정규 잡음 외의 광범위한 비정규, 로그볼록 잡음 모델로 확장한다.