[논문 리뷰] Kernel Recursive ABC: Point Estimation with Intractable Likelihood

Takafumi Kajihara, Motonobu Kanagawa외 2명|arXiv (Cornell University)|2018. 02. 23.

Probabilistic and Robust Engineering Design참고 문헌 38인용 수 4

한 줄 요약

이 논문은 존재하지만 계산이 복잡한 시뮬레이터 기반 모델에 대해 비가능한 우도를 가진 점 추정 방법인 커널 재귀 ABC를 제안한다. 동일한 관측 데이터에 대해 커널 ABC와 커널 허딩을 반복적으로 조합함으로써, 진짜 매개변수로의 일致한 수렴을 달성하고, 합성 및 실제 보행자 유량 시뮬레이션에서 기존 방법들을 능가한다.

ABSTRACT

We propose a novel approach to parameter estimation for simulator-based statistical models with intractable likelihood. Our proposed method involves recursive application of kernel ABC and kernel herding to the same observed data. We provide a theoretical explanation regarding why the approach works, showing (for the population setting) that, under a certain assumption, point estimates obtained with this method converge to the true parameter, as recursion proceeds. We have conducted a variety of numerical experiments, including parameter estimation for a real-world pedestrian flow simulator, and show that in most cases our method outperforms existing approaches.

연구 동기 및 목표

• 복잡하거나 계산 비용이 큰 시뮬레이터로 인해 우도 함수가 비가능한 통계 모델에서의 점 추정 문제를 해결한다.
• ABC-MAP, 노이즈 있는 ABC-MLE, 베이지안 최적화와 같은 기존 방법의 한계를 극복한다. 이는 사전 분포 민감도나 높은 계산 비용으로 인한 문제를 포함한다.
• 커널 평균 임bedding과 허딩을 활용하여 정규화된 결정론적 알고리즘을 개발함으로써 추정 정확도와 수렴 속도를 향상시킨다.
• 베이지안 방법이 정보가 풍부한 사전 분포가 필요로 하는 것과 대비해, 사전 분포 잘못 설정에 대해 강건함을 입증한다.
• 실제 보행자 유량 시뮬레이터에서의 검증을 통해 고차원, 복잡한 데이터 환경에서의 실용성과 뛰어난 성능을 보여준다.

제안 방법

• 관측된 데이터에 대해 시뮬레이션된 데이터의 조건부 분포를 재생핵 힐버트 공간(RKHS)에 임베딩하기 위해 커널 ABC를 적용함으로써, 명시적 우도 평가 없이도 비모수적 추론이 가능해진다.
• 커널 허딩을 사용하여 시뮬레이션된 데이터의 경험적 분포와 관측된 데이터 간의 이질도를 최소화하는 매개변수 점을 결정론적으로 선택한다.
• 동일한 관측 데이터에 대해 커널 ABC와 커널 허딩을 반복적으로 재귀적으로 적용함으로써, 각 단계에서 매개변수 추정치를 개선한다.
• 레프레젠터 정리를 활용하여 조건부 분포의 커널 임베딩을 시뮬레이션된 데이터 포인트들의 유한한 합으로 표현함으로써 효율적인 계산이 가능해진다.
• 커널 허딩과 커널 ABC의 이론적 성질을 이용하여, 미약한 정규성 조건 하에서 인구 극한에서 진짜 매개변수로 수렴함을 보장한다.
• 혼합 모델의 혼합 계수에 Dirichlet 사전을 통합함으로써 사전 정보를 통합하지만, 알고리즘의 재귀적이고 데이터 기반의 성격 덕분에 사전 분포 잘못 설정에 대해 강건함을 유지한다.

실험 결과

연구 질문

• RQ1 커널 ABC와 커널 허딩을 재귀적으로 적용할 경우, 비가능한 우도를 가진 모델에서 진짜 매개변수에 대해 일致한 점 추정치를 얻을 수 있는가?
• RQ2 기존의 ABC 기반 및 최적화 기반 점 추정 기법과 비교해 본다면, 제안된 방법은 정확도와 효율성 면에서 어떻게 다른가?
• RQ3 고차원, 복잡한 시뮬레이터 환경에서 사전 분포 잘못 설정에 대해 이 방법은 어느 정도 강건한가?
• RQ4 실제 고차원 시뮬레이터, 예를 들어 보행자 유량 모델과 같은 환경에서 매개변수를 효과적으로 추정할 수 있는가?
• RQ5 인구 설정에서 재귀적 커널 ABC 과정의 수렴에 대한 이론적 근거는 무엇인가?

주요 결과

• 보행자 유량 시뮬레이터 실험에서, 커널 재귀 ABC는 보행자 수의 평균 오차 61.58 (±74.42)과 시간 간격의 평균 오차 70.93 (±102.08)을 기록했으며, SMC-ABC(271.51 및 363.12)와 BO(194.57 및 291.73)를 크게 능가했다.
• 혼합 모델에서 10개 후보 중 5개의 활성 그룹이 존재할 경우, 이 방법은 높은 정확도로 활성 성분을 정확히 식별했다.
• 커널 재귀 ABC는 0.008 (±0.009)의 데이터 이질도 오차를 기록했으며, 모든 방법 중에서 가장 낮아 관측된 데이터 분포와의 일치도가 매우 높음을 시사했다.
• 평균적으로 CPU 시간은 2233.45초 (±97.54)로, 정확도를 유지하면서도 BO(37541.23초)를 뛰어넘는 성능을 보였다.
• 커널 ABC와 허딩의 재귀적 적용은 비재귀적 또는 확률적 대안 대비 더 빠른 수렴과 더 낮은 분산을 가진 매개변수 추정치를 제공했다.
• 이론적 분석 결과, 미약한 가정 하에 인구 극한에서 이 방법이 진짜 매개변수로 수렴함을 보여주었으며, 일관성에 대한 강력한 이론적 기반을 확보했다.