[논문 리뷰] Bayesian Inference via Approximation of Log-likelihood for Priors in Exponential Family

Tohid Ardeshiri, Umut Orguner외 1명|arXiv (Cornell University)|2015. 10. 05.

Target Tracking and Data Fusion in Sensor Networks인용 수 12

한 줄 요약

이 논문은 지수형 가족의 사전분포의 충분통계량에 대해 로그우도의 테일러 급수 근사를 사용하여 후행분포가 동일한 지수형 가족 형태를 유지하도록 선형화하는 베이지안 추론 방법을 제안한다. 이 방법은 확장된 칼만 필터를 일반화하며, 계산 자원이 제한된 환경에서 효율적이고 계산 비용이 낮은 추론을 가능하게 하며, 역위샤르트 분포를 가진 목표물 크기로 확장된 목표물 추적을 통해 검증되었다.

ABSTRACT

In this paper, a Bayesian inference technique based on Taylor series approximation of the logarithm of the likelihood function is presented. The proposed approximation is devised for the case, where the prior distribution belongs to the exponential family of distributions. The logarithm of the likelihood function is linearized with respect to the sufficient statistic of the prior distribution in exponential family such that the posterior obtains the same exponential family form as the prior. Similarities between the proposed method and the extended Kalman filter for nonlinear filtering are illustrated. Furthermore, an extended target measurement update for target models where the target extent is represented by a random matrix having an inverse Wishart distribution is derived. The approximate update covers the important case where the spread of measurement is due to the target extent as well as the measurement noise in the sensor.

연구 동기 및 목표

• 제한된 계산 자원이 있는 대규모 문제에 적합한 빠르고 분석적인 베이지안 추론 기법을 개발하기 위해.
• 비공액 후행분포 문제를 해결하기 위해, 비선형 우도일 경우 로그우도를 테일러 급수로 근사함으로써.
• 후행분포의 지수형 가족 형태를 유지하여 순차적이고 계산적으로 효율적인 업데이트를 보장하기 위해.
• 목표물 크기를 랜덤 매트릭스로 모델링하고 역위샤르트 사전분포를 사용하는 확장된 목표물 추적에 이 방법을 확장하기 위해.
• 실시간 필터링 응용 분야에서 몬테카를로 또는 변분 베이즈 방법에 대한 계산 비용이 낮은 대안을 제공하기 위해.

제안 방법

• 사전분포의 충분통계량을 중심으로 로그우도 함수의 일阶 테일러 급수 전개를 사용하여 로그우도를 근사하기 위해.
• 충분통계량에 대해 로그우도를 선형화하여, 후행분포가 사전분포와 동일한 지수형 가족 형태를 유지하도록 하기 위해.
• 후행분포가 사전분포의 매개변수 형태와 일치하도록 하여 공액성을 유지하는 측정 업데이트 규칙을 유도하기 위해.
• 목표물 크기를 랜덤 매트릭스로 모델링하고 역위샤르트 분포를 사용하는 확장된 목표물 추적에 이 방법을 적용하기 위해.
• 시간 업데이트에서 역위샤르트 모수를 업데이트하기 위해 기하급수적 기억 전략을 사용하여 천천히 변화하는 목표물 크기를 모델링하기 위해.
• 로그우도의 선형화된 근사를 사용하여 후행분포 업데이트를 수립하며, 이는 확장된 칼만 필터의 접근 방식과 유사하다.

실험 결과

연구 질문

• RQ1 지수형 가족에 속하는 사전분포일 경우, 로그우도의 일계 테일러 근사가 후행분포의 공액성을 유지할 수 있는가?
• RQ2 비선형 베이지안 추론에서 제안된 방법이 확장된 칼만 필터에 비해 정확도와 계산 비용 측면에서 어떻게 비교되는가?
• RQ3 이 방법은 목표물 크기를 랜덤 매트릭스 모델로 모델링하는 확장된 목표물 추적에 효과적으로 적용될 수 있는가?
• RQ4 몬테카를로 및 변분 방법과 비교하여 이 근사의 추정 오차 및 계산 효율성 측면에서 성능은 어떠한가?
• RQ5 충분통계량 공간에서 선형화 점의 선택에 따라 후행분포 근사가 얼마나 민감한가?

주요 결과

• 제안된 방법은 사전분포와 동일한 지수형 가족 형태의 후행분포를 도출하여 순차적이고 계산적으로 효율적인 추론을 가능하게 한다.
• 알고리즘은 추정 오차 측면에서 FFK(Fisher-Factorized Kalman) 및 ULL(Unscented-Linearized) 필터와 유사한 성능을 보이며, 계산 비용이 더 낮다.
• 수치 시뮬레이션 결과, 운동상태에 대한 추정 오차는 약 0.8 m (평균 ± 표준편차), 크기상태에 대한 추정 오차는 약 0.3 m (평균 ± 표준편차)로 나타났다.
• 제안된 방법의 사이클 시간은 FFK 및 ULL보다 현저히 낮아, 계산 효율성 향상을 시사한다.
• 시간 업데이트에서 기하급수적 기억 전략을 통해 천천히 변화하는 목표물 크기 조건에서도 안정성과 정확성이 유지된다.
• 이 방법은 확장된 칼만 필터를 일반화하며, 제한된 계산 예산이 있는 실시간 필터링 응용 분야에서 몬테카를로 및 변분 베이즈 방법에 대한 원칙적인 대안을 제공한다.