[논문 리뷰] AIDE: An algorithm for measuring the accuracy of probabilistic inference algorithms

Marco Cusumano-Towner, Vikash K. Mansinghka|arXiv (Cornell University)|2017. 05. 19.

Machine Learning and Algorithms참고 문헌 25인용 수 5

한 줄 요약

AIDE는 두 개의 확률적 추론 알고리즘의 출력 분포 간의 대칭화된 쿨백-라이블러(KL) 발산을 몬테카를로 추정기로 다루며, 추론 알고리즘을 보조 변수를 가진 확률적 모델로 간주한다. 이는 SMC 및 변분 추론과 같은 근사 추론 알고리즘에 대해 실용적이고 정량적인 평가를 가능하게 하며, 히우리스틱으로서 놓칠 수 있는 실패 모드를 탐지할 수 있다.

ABSTRACT

Approximate probabilistic inference algorithms are central to many fields. Examples include sequential Monte Carlo inference in robotics, variational inference in machine learning, and Markov chain Monte Carlo inference in statistics. A key problem faced by practitioners is measuring the accuracy of an approximate inference algorithm on a specific data set. This paper introduces the auxiliary inference divergence estimator (AIDE), an algorithm for measuring the accuracy of approximate inference algorithms. AIDE is based on the observation that inference algorithms can be treated as probabilistic models and the random variables used within the inference algorithm can be viewed as auxiliary variables. This view leads to a new estimator for the symmetric KL divergence between the approximating distributions of two inference algorithms. The paper illustrates application of AIDE to algorithms for inference in regression, hidden Markov, and Dirichlet process mixture models. The experiments show that AIDE captures the qualitative behavior of a broad class of inference algorithms and can detect failure modes of inference algorithms that are missed by standard heuristics.

연구 동기 및 목표

• 실제 응용에서 근사 확률적 추론 알고리즘의 정확도를 평가하기 위한 일반적이고 신뢰할 수 있는 지표의 부족을 해결하기 위해.
• 근사 추론 알고리즘이 골드표준 추론 알고리즘의 출력 분포를 얼마나 잘 근사하는지 측정하기 위한 실용적인 도구를 제공하기 위해.
• 표준 히우리스틱(예: 로그우도 추정치 또는 프로브 함수 기대값)이 놓칠 수 있는 추론 알고리즘의 실패 모드를 탐지하기 위해.
• 성능 제약 조건이 있는 환경에 배포하기 전에 추론 알고리즘 설정(예: 입자 수, 반복 횟수 등)에 대한 오프라인 정량적 평가를 가능하게 하기 위해.
• 추론 알고리즘 내 보조 변수에 대한 메타-추론 프레임워크를 구축하여 다양한 추론 파aradigm에 걸쳐 발산 추정이 가능하도록 하기 위해.

제안 방법

• 내부의 랜덤 선택을 은닉(보조) 변수로 간주하는 추론 알고리즘을 생성 확률 모델로 간주하기.
• 대상 또는 골드표준 추론 알고리즘이 사용하는 보조 변수에 대해 추론을 수행하는 메타-추론 알고리즘을 정의하기.
• 두 추론 알고리즘의 보조 변수에 대한 동시 추론을 통해 두 알고리즘의 출력 분포 간 대칭화된 KL 발산에 대한 몬테카를로 추정기 구축하기.
• SMC 기반 방법에 대한 일반화된 조건부 SMC 업데이트를 표준 메타-추론 알고리즘으로 사용하기.
• 메타-추론 실행 횟수를 늘림에 따라 수렴 여부를 모니터링하면서, SMC, 변분 추론, MCMC 알고리즘을 골드표준과 비교하기 위해 추정기 적용하기.
• 골드표준이 정확히 사후 분포를 반영하지 않더라도, 근사치와 진짜 사후 분포 간의 발산을 추정하기 위해 프레임워크 활용하기.

실험 결과

연구 질문

• RQ1 골드표준에 대비하여 근사 추론 알고리즘의 정확도를 정량화할 수 있는 일반적이고 실용적인 지표를 개발할 수 있는가?
• RQ2 정확한 사후 분포 계산이 불필요한 조건에서 추론 알고리즘 출력 간의 대칭화된 KL 발산을 어떻게 추정할 수 있는가?
• RQ3 AIDE는 표준 히우리스틱(예: 로그우도 또는 프로브 함수 기대값)이 감지하지 못하는 추론 알고리즘의 실패 모드를 어느 정도 탐지할 수 있는가?
• RQ4 MCMC 샘플러에 AIDE를 적용할 때의 한계는 무엇이며, 왜 현재 MCMC 수렴 진단에는 실용적이지 않은가?
• RQ5 AIDE의 정확도는 보조 변수 추론을 위한 메타-추론 알고리즘의 품질에 얼마나 의존하는가?

주요 결과

• AIDE는 SMC 추론 알고리즘과 골드표준 간의 대칭화된 KL 발산을 성공적으로 추정하였으며, 예상대로 추정치가 수렴하여 0에 수렴한다.
• 변분 추론의 경우, AIDE 추정치는 변분 가족의 본질적 근사 오차를 반영하여 0이 아닌 점점 수렴하는 비제로 점근선에 수렴한다.
• MCMC 실험에서는 AIDE가 진짜 사후 분포로부터의 발산을 기대값으로 과대평가하며, 비알고리즘적 샘플러에 대해 메타-추론의 정확도 부족으로 인한 편향이 있음을 시사한다.
• AIDE는 표준 로그우도 히우리스틱이 처벌하지 않는 실패 모드(예: 사후 분포 모드 누락)를 탐지할 수 있다.
• 실제 은하 속도 데이터 세트에서 AIDE는 SMC 기반 추론을 Dirichlet 프로세스 혼합 모델에 대해 SMC 골드표준과 비교하여 성공적으로 평가하였다.
• AIDE는 성능 제약 조건이 있는 애플리케이션(예: 확률적 로보틱스)에 배포하기 전에 추론 알고리즘 설정에 대한 오프라인 평가를 가능하게 하는 실용적인 프레임워크를 제공한다.