[論文レビュー] Intractable Likelihood Regression for Covariate Shift by Kernel Mean Embedding.

K. Kisamori, Keisuke Yamazaki|arXiv (Cornell University)|Sep 21, 2018

Markov Chains and Monte Carlo Methods参考文献 14被引用数 2

ひとこと要約

本論文は、共変量シフト下でのシミュレータベース回帰における扱いが困難な尤度関数を克服するため、カーネル平均埋め込みを用いた新しいベイズ推論フレームワークを提案する。拡張されたカーネルABC、重要度重み付け回帰、カーネルハーディング、カーネル和則則を統合することで、訓練データの分布外の予測を正確に可能にし、合成的および実世界のシミュレーションシナリオにおいて有効性を示している。

ABSTRACT

Simulation plays an essential role in comprehending a target system in many fields of social and industrial sciences. A major task in simulation is the estimation of parameters, and optimal parameters to express the observed data need to directly elucidate the properties of the target system as the design of the simulator is based on the expert's domain knowledge. However, skilled human experts struggle to find the desired parameters.Data assimilation therefore becomes an unavoidable task in simulator design to reduce the cost of simulator optimization. Another necessary task is extrapolation; in many practical cases, the prediction based on simulation results will be often outside of the dominant range of the given data area, and this is referred to as the covariate shift. This paper focuses on the regression problem with the covariate shift. While the parameter estimation for the covariate shift has been studied thoroughly in parametric and nonparametric settings, conventional statistical methods of parameter searching are not applicable in the data assimilation of the simulation owing to the properties of the likelihood function: intractable or nondifferentiable. To address these problems, we propose a novel framework of Bayesian inference based on kernel mean embedding that comprises an extended kernel approximate Bayesian computation (ABC) of the importance weighted regression, kernel herding, and the kernel sum rule. This framework makes the prediction available in covariate shift situations, and its effectiveness is evaluated in both synthetic numerical experiments and a widely used production simulator.

研究の動機と目的

• 扱いが困難なもしくは微分不可能な尤度関数を持つシミュレータにおけるパrameter推定の課題に対処すること。
• 予測が訓練データの主要な範囲外に位置する共変量シフト下でも信頼性の高い回帰を可能にすること。
• シミュレータ設計における専門家の直感への依存を減らすために、データ統合と最適化の自動化を実現すること。
• 複雑なシミュレータと互換性があるスケーラブルで微分可能な推論フレームワークを開発すること。
• 従来の統計的手法が失敗するシミュレーションベース推論における外挿性能の向上

提案手法

• 確率分布の非パrametric表現としてカーネル平均埋め込みを活用し、密度推定を明示的に行わずに分布の演算を可能にする。
• 共変量シフトを扱えるように重要度重み付けを組み込んだ拡張されたカーネル近似ベイズ計算（ABC）手法を導入する。
• 事後分布からの効率的サンプリングを実現するため、カーネルハーディングを採用し、収束性を向上させ、計算コストを低減する。
• 再生核ヒルベルト空間内での条件付き分布の合成を可能にするために、カーネル和則則を適用する。
• これらの要素を統合し、パrameter推定と分布外予測の両方をサポートする統一されたフレームワークを構築する。
• 尤度関数の明示的計算を回避するカーネルベース表現を用いることで、尤度が扱いが困難なシミュレータにも適用可能となる。

実験結果

リサーチクエスチョン

• RQ1 シミュレータベース回帰における扱いが困難な尤度関数を扱える、尤度フリーなベイズ推論フレームワークを開発できるか？
• RQ2 カーネル平均埋め込みをどのように活用することで、シミュレーションモデルにおける共変量シフト下でも正確な予測が可能になるか？
• RQ3 提案フレームワークは、従来の手法と比較して、パrameter推定および外挿性能をどの程度向上させるか？
• RQ4 カーネルABC、ハーディング、およびカーネル和則則の統合によって、複雑なシミュレータ向けにスケーラブルで頑健な推論フレームワークを構築できるか？
• RQ5 データ分布のシフトが生じる実世界のシミュレーション設定でも、フレームワークは性能を維持できるか？

主な発見

• 提案されたフレームワークは、尤度が扱いが困難なシミュレータにおいてもベイズ推論を実現でき、従来手法の主要な制限を克服した。
• 重要度重み付け回帰とカーネル平均埋め込みの統合により、共変量シフト下での予測精度が向上した。
• カーネルハーディングによりサンプリング効率が向上し、収束に必要なシミュレータ評価回数が削減された。
• 合成実験において、訓練データの分布外への一般化性能が向上し、フレームワークの頑健な性能が示された。
• 広く使われているプロダクション用シミュレータにおいて、ベースライン手法と比較してより正確なパrameter推定と信頼性の高い外挿が達成された。
• カーネル和則則により、再生核ヒルベルト空間内での条件付き分布の合成を可能にし、モジュール型かつスケーラブルな推論が実現された。