[논문 리뷰] Asymptotic Behaviour of Approximate Bayesian Estimators

Dean Ta, Sumeetpal S. Singh|arXiv (Cornell University)|2011. 05. 18.

Markov Chains and Monte Carlo Methods참고 문헌 14인용 수 17

한 줄 요약

이 논문은 가능도가 추정이 어려운 은닉 마르코프 모델(HMM)에서의 근사 베이지안 계산(ABC) 추정기의 이론적 분석을 제공한다. ABC 기반의 모수 추정기는 표준 가능도 기반 추정기의 점차적 편향을 가진다는 것을 보여주며, 핵심 기여는 ABC 허용 오차 $\epsilon$가 0에 가까워질수록 이 편향이 사라짐을 증명하는 것이다. 또한 정규성 조건 하에서 ABC 추정기의 점근적 분포는 참 모수 값 주변의 정규분포로 수렴함을 보여준다.

ABSTRACT

Although approximate Bayesian computation (ABC) has become a popular technique for performing parameter estimation when the likelihood functions are analytically intractable there has not as yet been a complete investigation of the theoretical properties of the resulting estimators. In this paper we give a theoretical analysis of the asymptotic properties of ABC based parameter estimators for hidden Markov models and show that ABC based estimators satisfy asymptotically biased versions of the standard results in the statistical literature.

연구 동기 및 목표

• 가능도가 추정이 어려운 상황에서 근사 베이지안 계산(ABC) 추정기의 이론적 성질을 조사하기 위해.
• 은닉 마르코프 모델(HMM)에서 ABC 기반 모수 추정기의 점근적 행동을 규명하기 위해.
• ABC 추정기가 일致성과 점근적 정규성을 가지는지, 그리고 그 편향을 정량화할 수 있는지 확인하기 위해.
• ABC 추정기가 표준 가능도 기반 추정기의 점근적 성질을 물려받지만, 본질적인 편향이 존재함을 보여주기 위해.
• ABC 추정기의 점근적 편향을 허용 오차 $\\epsilon$를 줄임으로써 임의로 작게 만들 수 있음을 보여주기 위해.

제안 방법

• 진짜 가능도의 변형으로 간주하는 ABC 근사화를, 변형된 확률 분포의 가능도로 모델링한다.
• ABC 가능도 $p^\epsilon_\theta(\hat{Z}) = \mathbb{P}_\theta(d(\hat{Z}, Z) \leq \epsilon)$가 정규화 요소를 제외한 진짜 밀도를 근사한다는 사실을 활용한다.
• 마르코프 체인 혼합 이론의 결과를 활용하여 HMM에서 잠재 상태와 관측값 간의 의존성을 제어한다.
• 균일한 에르고딕성과 기하학적 혼합 가정(A2–A7)을 사용하여 $\theta^{\epsilon,+}$와 $\theta^{\epsilon,-}$ 하에서 조건부 분포 간의 총 변동 거리의 상한을 구한다.
• 진짜 모델과 ABC 근사 모델 간의 스코어 함수(로그가능도 미분)의 차이에 대한 상한을 유도한다.
• 항등식 $\frac{\nabla_\theta g_\theta}{g_\theta} - \frac{\nabla_\theta g_\theta^\epsilon}{g_\theta^\epsilon} = \cdots$를 사용하여 추정 방정식의 편향을 분해하고 상한을 구한다.

실험 결과

연구 질문

• RQ1 가능도가 추정이 어려운 은닉 마르코프 모델에서 ABC 기반 추정기는 점근적으로 어떻게 행동하는가?
• RQ2 표준 최대우도 또는 베이지안 추정기와 비교할 때 ABC 추정기의 점근적 편향은 어떤 성질을 가지는가?
• RQ3 ABC 추정기의 점근적 편향을 임의로 작게 만들 수 있으며, 만약 가능하면 어떤 조건에서 가능한가?
• RQ4 허용 오차 $\epsilon$의 선택이 ABC 추정기의 점근적 분포에 어떤 영향을 미치는가?
• RQ5 ABC 추정기는 표준 가능도 기반 추정기의 점근적 정규성과 일치성 성질을 물려받는가?

주요 결과

• ABC 기반 추정기는 표준 가능도 기반 추정기의 점근적 편향된 형태이며, $\epsilon \to 0$일수록 이 편향이 사라진다.
• 정규성 조건 하에서 ABC 추정기의 점근적 분포는 참 모수 값 $\theta^*$ 주변의 정규분포로 수렴한다.
• 추정 방정식의 편향은 $K'\epsilon$ 이하로 상한이 제시되며, 이는 편향이 $\epsilon$에 대해 선형적으로 감소함을 의미한다.
• 조건부 분포 $\mathbb{P}_{\theta^{\epsilon,+}}(X_{i-1},X_i|Y_{-k:n})$와 $\mathbb{P}_{\theta^{\epsilon,-}}(X_{i-1},X_i|Y_{-k:n})$ 간의 총 변동 거리는 $K''\epsilon \rho^{|i|}$ 이하로 상한이 제시되어 의존성이 지수적으로 감소함을 보장한다.
• 가정(A2)–(A7)에 따라 기하학적 혼합성과 관측밀도의 미분 가능성 조건이 만족될 경우, ABC 추정기는 일致성과 점근적 정규성을 갖는다.
• 이론적 프레임워크는 $\epsilon$가 충분히 작게 선택될 경우, ABC가 대표본 설정에서 신뢰성 있게 사용될 수 있음을 확인한다.