[논문 리뷰] An approximate KLD based experimental design for models with intractable likelihoods

Ziqiao Ao, Jinglai Li|arXiv (Cornell University)|2020. 04. 01.

Probabilistic and Robust Engineering Design참고 문헌 23인용 수 6

한 줄 요약

이 논문은 비가역 가능도를 가진 모델에서 베이지안 실험 설계를 위한 하한 Kullback-Leibler 발산( LB-KLD) 유용도를 제안한다. 유용도를 데이터 공간 엔트로피의 합으로 표현함으로써, 가능도 평가 없이도 엔트로피 추정을 통해 효율적인 평가가 가능해지며, 비정규 분포 사후 분포 상황에서 후보자 분산 기반 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Data collection is a critical step in statistical inference and data science, and the goal of statistical experimental design (ED) is to find the data collection setup that can provide most information for the inference. In this work we consider a special type of ED problems where the likelihoods are not available in a closed form. In this case, the popular information-theoretic Kullback-Leibler divergence (KLD) based design criterion can not be used directly, as it requires to evaluate the likelihood function. To address the issue, we derive a new utility function, which is a lower bound of the original KLD utility. This lower bound is expressed in terms of the summation of two or more entropies in the data space, and thus can be evaluated efficiently via entropy estimation methods. We provide several numerical examples to demonstrate the performance of the proposed method.

연구 동기 및 목표

• 닫힌 형식으로 가능도 평가가 불가능한 경우 발생하는 베이지안 실험 설계(BED) 문제를 해결하기 위해.
• 가능도 평가 없이 사전과 사후 분포 간 Kullback-Leibler 발산(KLD)을 근사하는 유용도 함수를 개발하기 위해.
• 사후 분포가 정규 분포에서 크게 벗어나는 상황에서도 효율적인 실험 설계를 가능하게 하여 후보자 분산 기반 방법의 한계를 극복하기 위해.
• KLD 기반 실험 설계에 대한 수치적으로 다룰 수 있는 대안을 제공하기 위해, 가능도 계산 대신 엔트로피 추정을 활용한다.

제안 방법

• 다양한 매개변수 설정 하에서 데이터 생성 분포의 엔트로피에만 의존하는 KLD 유용도 함수에 대한 하한을 유도한다.
• 데이터 공간 내 엔트로피의 합으로 하한을 표현하며, 이는 비모수적 엔트로피 추정 기법을 통해 추정할 수 있다.
• 매개변수를 클러스터로 그룹화하는 사전 분할 전략을 적용하여 각 분할에 대해 국소적 엔트로피 추정을 수행한다.
• 몬테카를로 샘플링을 사용하여 사전에 대한 기대 유용도를 추정하며, 직접적인 가능도 평가 대신 엔트로피 근사를 사용한다.
• KLD 기반 유용도와의 비교를 위해 내부 몬테카를로 기법을 사용하지만, LB-KLD 방법은 가능도 쿼리 없이 완전히 수행된다.
• 사전 예측 샘플의 클러스터링 기반 사전 분할 단계를 활용하여 엔트로피 추정 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 가능도 평가 없이도 비가역 가능도를 가진 모델에서 KLD 유용도의 하한 근사를 구성할 수 있는가?
• RQ2 사후 분포가 비정규일 경우, 제안된 LB-KLD 방법은 기존의 비가역 가능도 기반 실험 설계 방법보다 얼마나 효과적인가?
• RQ3 사전 분할 전략과 엔트로피 추정 정확도는 LB-KLD 유용도 성능에 어떤 영향을 미치는가?
• RQ4 사후 분포가 정규 분포에서 크게 벗어나더라도 LB-KLD 방법은 일관되게 최적의 실험 설계를 식별할 수 있는가?

주요 결과

• 제안된 LB-KLD 방법은 가능도 평가 없이도 KLD 기반 유용도를 성공적으로 근사하며, 가능도가 비가역인 모델에서 실험 설계를 가능하게 한다.
• 비정규 사후 분포 상황에서 D-사후 정밀도 방법보다 성능이 뛰어나며, 특히 Ricker 모델과 진드기 모델 사례에서 두드러진다.
• 수치적 결과는 LB-KLD 방법이 다른 비가역 가능도 기반 접근보다 더 높은 정보 수확을 이끌어내는 최적의 설계 매개변수를 식별함을 보여준다.
• 수학적 예제, Ricker 모델, 진드기 인구 역학 모델을 포함한 다양한 모델에서 강건한 성능을 보이며, 100회의 독립 실행에서 일관된 성능을 유지한다.
• 사전 분할 기반 엔트로피 추정을 통해 단지 3×10⁴번의 모델 시뮬레이션으로도 정확한 유용도 평가가 가능하며, KLD 기준 비교를 위한 내부 몬테카를로 대비 상당한 계산 비용 절감 효과를 보인다.
• 사후 분포가 정규 분포에서 크게 벗어나도 후보자 분산 기반 방법이 실패하는 상황에서 이 방법은 효과적으로 작동한다.