[論文レビュー] On Optimal Scaling of Additive Transformation Based Monte Carlo Under Non-Regular Cases

Kushal Kr. Dey, Sourabh Bhattacharya|arXiv (Cornell University)|May 5, 2014

Markov Chains and Monte Carlo Methods被引用数 1

ひとこと要約

本稿は、非正規の目標密度および非正規の提案分布（特に一様、スチューデントのt、コーシー分布）の下で、加法的変換MCMC（TMCMC）における拡散に基づく最適スケーリングの検討を行う。拡散に基づく手法が、特に重たい尾を持つ分布や不連続な目標分布の下で、従来の期待二乗ジャンピング距離（ESJD）に基づくRWMアルゴリズムを顕著に上回ることを示しており、コーシー分布の場合でさえ、形式的証明が欠如しているにもかかわらず、強力なシミュレーション的支援がある。

ABSTRACT

Very recently, Transformation based Markov Chain Monte Carlo (TMCMC) was proposed by Dutta and Bhattcharya (2013) as a much efficient alternative to the Metropolis-Hastings algorithm, Random Walk Metropolis (RWM) algorithm, especially in high dimensions. The main advantage of this algorithm is that it simultaneously updates all components of a high dimensional parameter by some appropriate deterministic transformation of a single random variable, thereby reducing time complexity and enhancing the acceptance rate. The optimal scaling of the additive TMCMC approach has already been studied for the Gaussian proposal density by Dey and Bhattacharya(2013). In this paper, we discuss diffusion-based optimal scaling behavior for non-Gaussian proposal densities - in particular, uniform, Student's t and Cauchy proposals. We also consider diffusion based optimal scaling for non-Gaussian proposals when the target density is discontinuous. In the case of the Random Walk metropolis (RWM) algorithm these non-regular situations have been studied by Neal and Roberts (2011) in terms of expected squared jumping distance (ESJD), but the diffusion based approach has not been considered. Although we could not formally prove our diffusion result for the Cauchy proposal, simulation based results led us to a conjecture that the diffusion result still holds for the Cauchy case. We compare our diffusion based TMCMC approach with that of ESJD based RWM approach for the very challenging Cauchy proposal case, showing that our former approach clearly outperforms the latter.

研究の動機と目的

• ガウス分布以外の提案分布にまで、加法的TMCMCの最適スケーリング理論を非正規のケースにまで拡張すること。
• 目標密度が不連続である場合における、拡散フレームワーク下での拡散に基づく最適スケーリングの挙動を調査すること。
• 特にコーシー分布の下で、拡散に基づくTMCMCとESJDに基づくRWMの性能を比較すること。
• 形式的証明が存在しないにもかかわらず、シミュレーション的証拠と予想を提示し、コーシー分布の下での拡散スケーリングの有効性を検証すること。
• 高次元的・非正規の目標分布において、非ガウス分布の提案を用いたTMCMCがRWMを上回る効率性を達成できることを確立すること。

提案手法

• 非正規の提案密度の下で、加法的TMCMCのスケーリング行動を分析するために、拡散極限アプローチを適応する。
• 一様、スチューデントのt、コーシー分布の提案に拡散スケーリングフレームワークを適用し、漸近的最適スケーリングパラメータを導出する。
• さまざまな非正規的かつ不連続な目標密度の下で、拡散に基づくTMCMCの性能を評価するために、シミュレーションスタディを実施する。
• 高次元的状況下で、拡散に基づくTMCMCとESJDに基づくRWMアルゴリズムの受容率および混合効率を比較する。
• 形式的数学的証明が欠如しているにもかかわらず、シミュレーション結果に基づく予想を用いて、コーシー分布の下での拡散スケーリング結果を拡張する。
• すべての成分を同時に更新するために1つの確率変数を活用することで、TMCMCの時間計算量と受容率の改善を分析する。

実験結果

リサーチクエスチョン

• RQ1 一様、スチューデントのt、コーシー分布などの非正規の提案密度を用いた場合、加法的TMCMCにおける拡散に基づく最適スケーリングはどのように振る舞うか。
• RQ2 不連続な目標密度、特に不連続性を有するものに対して、拡散スケーリングフレームワークを意味的に適用できるか。
• RQ3 重たい尾を持つ提案分布を伴う高次元的状況下で、拡散に基づくTMCMCとESJDに基づくRWMの相対的性能はいかほどか。
• RQ4 形式的理論的根拠が欠如しているにもかかわらず、コーシー分布の下での拡散スケーリング結果が、実証的に成立するか。
• RQ5 非正規の条件下で、非ガウス分布の提案を用いたTMCMCは、受容率および混合効率の観点から、RWMをどの程度上回るか。

主な発見

• 拡散に基づく最適スケーリングアプローチは、一様、スチューデントのt、コーシー分布を含む非正規の提案密度に対しても、うまく拡張可能であることが示された。
• 不連続な目標密度の下でも、拡散に基づくスケーリングフレームワークは有効であり、正規の目標仮定を越えたロバストネスを示している。
• シミュレーション結果から、特にコーシー分布の下で、拡散に基づくTMCMCが受容率および混合性能の観点でESJDに基づくRWMを顕著に上回ることが明らかになった。
• コーシー分布の下での形式的証明が存在しないにもかかわらず、シミュレーション的証拠が強く、拡散スケーリング結果が成立すると予想される。これは、より広範な適用可能性を示唆している。
• 非ガウス分布の提案を用いたTMCMCフレームワークは、同時にすべての成分を更新できる点と、改善されたスケーリング行動のおかげで、RWMよりも高い効率性を達成している。
• 本研究では、TMCMCの時間計算量が低減され、特に高次元的・非正規的状況下で、受容率が向上していることが示された。