[논문 리뷰] Revisiting maximum-a-posteriori estimation in log-concave models: from differential geometry to decision theory

Marcelo Pereyra|arXiv (Cornell University)|2016. 12. 19.

Statistical Methods and Inference인용 수 2

한 줄 요약

이 논문은 로그볼록(로그-컨벡스) 베이지안 모델에서 최대사후확률(최대사후확률, MAP) 추정에 대한 의사결정이론적 기반을 제공한다. 미분기하학을 활용하여 음의 사후밀도의 로그에 의해 유도되는 브레지먼 발산을 기본 손실 함수로 정의함으로써 이를 달성한다. 이는 MAP가 이 기본 손실을 최소화하며, 사후평균은 이중 손실을 최소화함을 보여주어 MAP 추정이 베이지안 의사결정이론에서의 정당성에 대해 오랫동안 지속된 이론적 모호성을 해소한다.

ABSTRACT

Maximum-a-posteriori (MAP) estimation is the main Bayesian estimation methodology in imaging sciences, where high dimensionality is often addressed by using Bayesian models that are log-concave and whose posterior mode can be computed efficiently by convex optimisation. Despite its success and wide adoption, MAP estimation is not theoretically well understood yet. The prevalent view in the community is that MAP estimation is not proper Bayesian estimation in a decision-theoretic sense because it does not minimise a meaningful expected loss function (unlike the minimum mean squared error (MMSE) estimator that minimises the mean squared loss). This paper addresses this theoretical gap by presenting a decision-theoretic derivation of MAP estimation in Bayesian models that are log-concave. A main novelty is that our analysis is based on differential geometry, and proceeds as follows. First, we use the underlying convex geometry of the Bayesian model to induce a Riemannian geometry on the parameter space. We then use differential geometry to identify the so-called natural or canonical loss function to perform Bayesian point estimation in that Riemannian manifold. For log-concave models, this canonical loss is the Bregman divergence associated with the negative log posterior density. We then show that the MAP estimator is the only Bayesian estimator that minimises the expected canonical loss, and that the posterior mean or MMSE estimator minimises the dual canonical loss. We also study the question of MAP and MSSE estimation performance in large scales and establish a universal bound on the expected canonical error as a function of dimension, offering new insights into the good performance observed in convex problems. These results provide a new understanding of MAP and MMSE estimation in log-concave settings, and of the multiple roles that convex geometry plays in imaging problems.

연구 동기 및 목표

• 베이지안 통계에서 MAP 추정에 둘러싸인 이론적 모호성, 특히 의사결정이론 프레임워크 내에서의 정당성 부족을 해결하기 위해.
• 볼록기하학에서 유래된 리만기하학을 사용하여 로그볼록 모델에서의 베이지안 점추정을 위한 원칙적인 손실 함수를 규명하기 위해.
• 로거볼록 모델에서 음의 사후밀도의 로그에 의해 유도된 기본 손실 함수를 유도하고, 이에 따라 MAP 추정이 최소화됨을 보여주기 위해.
• 모든 로그볼록 모델에 대해 유효한 차원에 대한 함수로 표현된 기대 기본 오차의 일반 상한을 사용하여 고차원 설정에서 MAP와 MMSE 추정기의 성능을 비교하기 위해.
• 이미징 문제에서 볼록기하학의 이중적 역할를 명확히 하기 위해, 이를 추정과 매개변수 공간의 기하학적 구조와 연결하기 위해.

제안 방법

• 로그볼록 베이지안 모델에 내재된 볼록기하학을 활용하여 매개변수 공간에 리만기하학을 도입하기 위해.
• 음의 사후밀도의 로그에 관련된 브레지먼 발산으로서 리만다이만에서의 기본 손실 함수를 정의하기 위해.
• 베이지안 의사결정이론적 관점에서 MAP 추정기가 이 기본 손실 함수의 유일한 최소화자임을 보여주기 위해.
• 이중 기본 손실 함수를 유도하고, 사후평균(즉, MMSE 추정기)이 이 이중 손실을 최소화함을 증명하기 위해.
• 모든 로그볼록 모델에 대해 유효한, 기대 기본 오차의 일반 상한을 유도하여 매개변수 공간의 차원에 따라 표현하기 위해.
• 고차원 설정에서 추정 오차의 행동을 분석하기 위해 미분기하학 도구를 사용하기 위해.

실험 결과

연구 질문

• RQ1 로그볼록 모델에서 의사결정이론 프레임워크 내에서 MAP 추정을 공식적으로 정당화할 수 있는가?
• RQ2 기하학적 베이지안 설정에서 MAP 추정을 최적화하는 데 기여하는 기본 손실 함수는 무엇인가?
• RQ3 로그볼록 모델에서 MAP 추정의 성능은 차원에 따라 어떻게 변화하는가?
• RQ4 기본 손실 함수의 이중성 관점에서 MAP 추정기와 사후평균 간의 관계는 무엇인가?
• RQ5 볼록기하학은 매개변수 공간의 구조와 그에 따른 추정 이론에 어떻게 영향을 미치는가?

주요 결과

• MAP 추정기는 로그볼록 모델에서 음의 사후밀도의 로그에 의해 유도된 브레지먼 발산으로 정의된 기본 손실 함수를 최소화하는 유일한 베이지안 점추정기이다.
• 사후평균(MMSE 추정기)은 이중 기본 손실 함수를 최소화하며, 이는 이 기하학적 프레임워크 내에서 MAP와 MMSE 추정기 간의 이중성을 확립한다.
• MAP 추정기의 기대 기본 오차에 대한 일반 상한이 도출되었으며, 이는 매개변수 공간의 차원에 따라 달라지며, 모든 로그볼록 모델에 대해 유효하다.
• 기본 손실 함수는 로그볼록 모델의 볼록 구조에 의해 유도된 리만기하학에서 자연스럽게 유도되며, 이는 MAP의 기하학적 정당성을 제공한다.
• 분석 결과, 볼록기하학은 고차원 이미징 문제에서 MAP 추정의 계산 가능성과 이론적 정당성의 핵심 요소임을 드러낸다.
• 결과적으로, MAP 추정이 올바른 의사결정이론적 손실을 기준으로 평가될 경우, MAP 추정이 정당한 베이지안 절차임을 보여주는 오랫동안 지속된 이론적 간극을 해소한다.