[論文レビュー] Indirect inference through prediction

Ernesto Carrella, Richard M. Bailey+1 more|arXiv (Cornell University)|Jul 4, 2018

Markov Chains and Monte Carlo Methods参考文献 6被引用数 4

ひとこと要約

本論文は、数値最小化の代わりに正則化回帰を用いることで、シミュレーションベースのモデルにおけるモデルパラメータ推定のための新しい間接推定手法を提案する。シミュレーションデータ上で要約統計量からパラメータを予測する回帰モデルを訓練することで、この手法は関連する統計量を自動的に選別・重み付けし、要約統計量の手動選択や距離関数の定義、計算コストの高い最小化作業を回避する。これにより、分類を用いた分類による効率的なキャリブレーションとモデル選択が可能になる。

ABSTRACT

By recasting indirect inference estimation as a prediction rather than a minimization and by using regularized regressions, we can bypass the three major problems of estimation: selecting the summary statistics, defining the distance function and minimizing it numerically. By substituting regression with classification we can extend this approach to model selection as well. We present three examples: a statistical fit, the parametrization of a simple real business cycle model and heuristics selection in a fishery agent-based model. The outcome is a method that automatically chooses summary statistics, weighs them and use them to parametrize models without running any direct minimization.

研究の動機と目的

• 間接推定における3つの主要な課題、すなわち要約統計量の選択、距離関数の定義、数値的最小化に対処すること。
• 尤度が解析的に求められない複雑なシミュレーションモデル、特にエージェントベースモデルやマクロ経済モデルのキャリブレーションを簡素化・自動化すること。
• 回帰を分類に置き換えることで、このアプローチをモデル選択へと拡張すること。
• 正則化を活用して情報量の多い要約統計量のみを選択することで、計算の効率性とロバスト性を向上させること。
• 社会科学者や研究者にとってなじみやすい統計的手法を用いて、使いやすく解釈可能な手法を提供すること。

提案手法

• 数値的最小化の代わりに正則化線形回帰を用いる予測問題として間接推定推定を再定式化すること。
• 異なるパラメータ値でモデルを複数回実行することで、大規模なシミュレーションデータを生成し、(パラメータ, 要約統計量)ペアの訓練データを作成すること。
• 正則化回帰モデル（例：Lasso や Ridge）を訓練し、シミュレーションされた要約統計量からモデルパラメータを予測する。ここで正則化により、最も情報量の多い統計量が選択される。
• 訓練済みの回帰モデルを用いて、実データの観測された要約統計量を入力として、モデルパラメータを予測すること。
• シミュレーションデータ上で分類器を訓練し、各要約統計量ペアを生成したモデルを予測することで、この手法をモデル選択へと拡張すること。
• 交差検証と予測性能指標を用いて回帰モデルおよび分類器モデルの妥当性を検証し、ロバスト性と一般化能力を確保すること。

実験結果

リサーチクエスチョン

• RQ1 正則化回帰が数値的最小化を置き換えても、推定精度を維持または向上させることができるか？
• RQ2 ドメイン特化の知識なしに、正則化が情報量の多い要約統計量を自動的に選択できるか？
• RQ3 回帰を分類に置き換えることで、同じフレームワークをモデル選択に拡張できるか？
• RQ4 従来のシミュレーテッド最小距離法やABCアプローチと比較して、この手法の計算効率性とロバスト性はどの程度か？
• RQ5 一度の予測のみが必要な場合、グローバル回帰モデルとトランスダクティブ手法の間で、どのような影響が生じるか？

主な発見

• 正則化により、大規模なプールから予測能の高い統計量を自動的に同定するため、要約統計量の手動選択の必要がなくなる。
• 回帰が要約統計量からパラメータへ直接マッピングするため、距離関数の定義が不要になる。学習プロセスの中で統計量が暗黙的に重み付けされる。
• 統計的直線フィット、実際のビジネスサイクルモデル、およびフィッシュリーエージェントベースモデルの3つのテストケースすべてにおいて、正確なパラメータ推定が達成された。
• フィッシュリー・モデルでは、代替手法と比較して、最適なヒューリスティクス（探索・利用・模倣）を正しく同定した。これは、モデル選択におけるこの手法の有効性を示している。
• 正則化回帰の使用により、最終的なパラメータ推定に寄与するのは関連する要約統計量のみとなり、安定性と解釈可能性が向上する。
• このフレームワークはモデルの複雑さに応じて良好にスケーリングされ、高次元データや尤度が解析的に求められないモデルへの適用が可能である。