[논문 리뷰] Intractable Likelihood Regression for Covariate Shift by Kernel Mean Embedding.

K. Kisamori, Keisuke Yamazaki|arXiv (Cornell University)|2018. 09. 21.

Markov Chains and Monte Carlo Methods참고 문헌 14인용 수 2

한 줄 요약

이 논문은 코Variate shift 하에서 시뮬레이터 기반 회귀에서의 비가역 가능도 문제를 해결하기 위해 커널 평균 임베딩을 사용하는 새로운 베이지안 추론 프레임워크를 제안한다. 확장된 커널 ABC, 중요도 가중 회귀, 커널 허딩, 커널 합 규칙을 통합함으로써, 훈련 데이터 분포를 초월한 정확한 예측을 가능하게 하며, 시뮬레이션 시나리오(합성 및 실제 응용)에서의 효과성을 입증한다.

ABSTRACT

Simulation plays an essential role in comprehending a target system in many fields of social and industrial sciences. A major task in simulation is the estimation of parameters, and optimal parameters to express the observed data need to directly elucidate the properties of the target system as the design of the simulator is based on the expert's domain knowledge. However, skilled human experts struggle to find the desired parameters.Data assimilation therefore becomes an unavoidable task in simulator design to reduce the cost of simulator optimization. Another necessary task is extrapolation; in many practical cases, the prediction based on simulation results will be often outside of the dominant range of the given data area, and this is referred to as the covariate shift. This paper focuses on the regression problem with the covariate shift. While the parameter estimation for the covariate shift has been studied thoroughly in parametric and nonparametric settings, conventional statistical methods of parameter searching are not applicable in the data assimilation of the simulation owing to the properties of the likelihood function: intractable or nondifferentiable. To address these problems, we propose a novel framework of Bayesian inference based on kernel mean embedding that comprises an extended kernel approximate Bayesian computation (ABC) of the importance weighted regression, kernel herding, and the kernel sum rule. This framework makes the prediction available in covariate shift situations, and its effectiveness is evaluated in both synthetic numerical experiments and a widely used production simulator.

연구 동기 및 목표

• 비가역 또는 미분 불가능한 가능도 함수를 가진 시뮬레이터에서의 매개변수 추정 문제를 해결하기 위해.
• 예측값이 훈련 데이터의 주요 범위를 초월하는 코Variate shift 하에서의 신뢰할 수 있는 회귀를 가능하게 하기 위해.
• 시뮬레이터 설계에서 전문가의 직관에 의존하는 것을 줄이기 위해 데이터 융합 및 최적화를 자동화하기 위해.
• 복잡한 시뮬레이터와 호환되는 확장 가능하고 미분 가능한 추론 프레임워크를 개발하기 위해.
• 伝통적인 통계 방법이 실패하는 시뮬레이션 기반 추론에서의 외삽 성능을 향상시키기 위해.

제안 방법

• 비모수적 방식으로 확률 분포를 표현하기 위해 커널 평균 임베딩을 활용하여, 명시적 밀도 추정 없이도 분포 간 연산을 가능하게 한다.
• 코Variate shift 를 다룰 수 있도록 중요도 가중치를 통합한 확장된 커널 근사 베이지안 계산(ABC) 방법을 제안한다.
• 후행 분포에서 효율적으로 샘플링하기 위해 커널 허딩을 활용하여 수렴 속도를 향상시키고 계산 비용을 감소시킨다.
• 재생 커널 힐버트 공간에서 조건부 분포를 결합하기 위해 커널 합 규칙을 적용하여, 다중 변수 간 모듈러한 추론을 가능하게 한다.
• 이러한 구성 요소들을 통합하여, 매개변수 추정과 분포 외부 예측을 모두 지원하는 통합 프레임워크를 구성한다.
• 명시적 가능도 계산이 필요 없도록 커널 기반 표현을 사용하여, 비가역 가능도를 가진 시뮬레이터에 적용 가능한 방법을 확보한다.

실험 결과

연구 질문

• RQ1 시뮬레이터 기반 회귀에서 비가역 가능도를 다룰 수 있는 가능도 자유 베이지안 추론 프레임워크를 개발할 수 있는가?
• RQ2 커널 평균 임베딩을 어떻게 활용하여 시뮬레이션 모델에서 코Variate shift 하에서도 정확한 예측을 가능하게 할 수 있는가?
• RQ3 제안된 프레임워크가 전통적 방법에 비해 매개변수 추정 및 외삽 성능을 어느 정도 향상시키는가?
• RQ4 커널 ABC, 허딩, 커널 합 규칙의 통합이 복잡한 시뮬레이터에 대해 확장 가능하고 강건한 추론 프레임워크를 제공할 수 있는가?
• RQ5 데이터 분포 이동이 발생하는 실제 시뮬레이션 환경에서도 이 프레임워크가 성능을 유지하는가?

주요 결과

• 제안된 프레임워크는 비가역 가능도를 가진 시뮬레이터에서 베이지안 추론을 성공적으로 수행하여, 전통적 방법의 주요 한계를 극복한다.
• 중요도 가중 회귀와 커널 평균 임베딩의 통합은 코Variate shift 하에서도 예측 정확도를 향상시킨다.
• 커널 허딩은 샘플링 효율성을 향상시켜 수렴을 위해 필요한 시뮬레이터 평가 횟수를 감소시킨다.
• 합성 실험에서 프레임워크는 훈련 데이터 분포를 초월한 일반화 능력 향상을 보이며 강건한 성능을 나타낸다.
• 광범위하게 사용되는 생산용 시뮬레이터에서, 기준 방법에 비해 더 정확한 매개변수 추정과 신뢰할 수 있는 외삽을 달성한다.
• 커널 합 규칙은 재생 커널 힐버트 공간에서 조건부 분포의 조합을 가능하게 하여 모듈러하고 확장 가능한 추론을 가능하게 한다.