[論文レビュー] Deep Learning in (and of) Agent-Based Models: A Prospectus

Sander van der Hoog|arXiv (Cornell University)|Jun 20, 2017

Complex Systems and Time Series Analysis参考文献 38被引用数 8

ひとこと要約

本稿では、経済学におけるエージェントベースモデル（ABMs）の計算エミュレータとして、深層学習—特に人工ニューラルネットワーク（ANNs）—の使用を提案している。これにより、パrameter感受性分析、ロバストネステスト、実証的推定が高速化される。階層的モデリングフレームワークを導入し、ANNが個々のエージェントや完全なABMをエミュレートすることで、強化学習を統合したスケーラブルで適応可能な政策設計が可能になる。

ABSTRACT

A very timely issue for economic agent-based models (ABMs) is their empirical estimation. This paper describes a line of research that could resolve the issue by using machine learning techniques, using multi-layer artificial neural networks (ANNs), or so called Deep Nets. The seminal contribution by Hinton et al. (2006) introduced a fast and efficient training algorithm called Deep Learning, and there have been major breakthroughs in machine learning ever since. Economics has not yet benefited from these developments, and therefore we believe that now is the right time to apply Deep Learning and multi-layered neural networks to agent-based models in economics.

研究の動機と目的

• 計算コストが高く、キャリブレーションが困難な経済的エージェントベースモデル（ABMs）における実証的推定という重要な課題に取り組む。
• 従来の計量経済学的手法の限界を乗り越え、機械学習を活用してABMsにおける複雑で非線形なダイナミクスをモデル化する。
• 深層ニューラルネットワークを計算的エミュレータとして用いたメタモデリングアプローチを開発し、シミュレーションコストを低減する。
• 強化学習を政策エージェントに統合することで、柔軟で適応可能な政策設計を可能にする。
• エージェントの内部認知モデルとして人工ニューラルネットワークを果たす階層的ABMアーキテクチャの構築に道筋をつける。

提案手法

• 深層信念ネットワークと制限ボルツマンマシンを補助モデルとして用い、個々のエージェント行動をエミュレートし、「ドッペルゲンガー」エージェントを生成する。
• 初期化パラメータに基づいてABMのマクロレベル時系列出力を予測するための人工ニューラルネットワークを訓練し、システム全体のグローバルメタモデリングを実現する。
• 非パラメトリックかつ非線形な近似技術を用いて、ABMsの多次元的で動的な挙動を、パラメトリックな形を仮定せずに捉える。
• 強化学習を政策エージェントに統合し、環境との相互作用とパフォーマンス指標からのフィードバックを通じて最適な政策ルールを学習可能にする。
• ハミルトニアン系によるネットワーク構造のモデリングによりANNの複雑さを低減し、トレーニング効率と解釈可能性を向上させる。
• ABM出力を深層学習モデルに統合し、大規模なABMsに埋め込める人工ニューラルネットワークを生成することで、階層的モデリングフレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 人工ニューラルネットワークは、経済学における複雑なエージェントベースモデルを、正確かつ計算的に効率的なエミュレータとしてどのように活用できるか？
• RQ2 深層学習技術は、個々のエージェントの行動パターンをどの程度再現でき、ドッペルゲンガー形式のエミュレーションを可能にするか？
• RQ3 ニューラルネットワークベースのメタモデルは、大規模ABMsにおけるパrameter感受性分析およびロバストネス分析の効率をどのように向上させるか？
• RQ4 強化学習をABMs内の政策エージェントに統合することで、エージェントのフィードバックに応じて適応的かつ目的志向的な政策設計をどのように実現できるか？
• RQ5 エージェントの複数のレベルで内部認知モデルとして人工ニューラルネットワークを果たす階層的ABMsを構築することは、現実的で効果的であるか？

主な発見

• 深層ニューラルネットワークは、非パラメトリックかつ非線形なエミュレータとして、ABMダイナミクスを効果的に再現でき、計算コストを顕著に低減しつつ、複雑な時系列挙動を保持する。
• ANNを補助モデルとして用いることで、大規模ABMsではもはや実行不可能な場合が多いパrameter感受性分析やロバストネス分析が、効率的に可能になる。
• 強化学習により、政策エージェントは環境との相互作用とフィードバックを通じて、最適で適応可能な政策ルールを学習可能となり、政策変更に伴う行動変化を自然に組み込むことでルーカス批判を解決する。
• ABM出力を深層学習モデルに統合することで、上位レベルのABMsに埋め込める人工ニューラルネットワークが生成され、複雑な社会的経済的システムの階層的モデリングが可能になる。
• ANNの複雑さをハミルトニアン系でモデリングすることで、トレーニング効率と構造的解釈可能性が向上し、スケーラブルな設計を支援する。
• 提案手法により、ABMsに計算的認知モデルを組み込むことが可能になり、エージェントが環境および社会的文脈の内部で差別化されたメンタルモデルを維持できるようになる。