[論文レビュー] Is the Juice Worth the Squeeze? Machine Learning (ML) In and For Agent-Based Modelling (ABM)

Johannes Dahlke, Andreas Pyka+4 more|arXiv (Cornell University)|Jan 1, 2020

Innovation Diffusion and Forecasting参考文献 64被引用数 7

ひとこと要約

本論文は、190件の研究を系統的文献レビューすることで、機械学習（ML）がエージェントベースモデル（ABM）において、およびABMの構築にどのように応用されているかを分析している。主な応用は、経験学習を用いた適応的エージェントのモデリングと、ABMの出力結果の分析の2つである。研究は、MLが特定の文脈—特に可視性の向上、高次元モデル、目的志向のエージェント行動—においてABMを強化することに有効であると結論づけるが、計算コストの増加と説明可能性の低下という懸念から、過剰な使用には注意を要すると警告している。

ABSTRACT

In recent years, many scholars praised the seemingly endless possibilities of using machine learning (ML) techniques in and for agent-based simulation models (ABM). To get a more comprehensive understanding of these possibilities, we conduct a systematic literature review (SLR) and classify the literature on the application of ML in and for ABM according to a theoretically derived classification scheme. We do so to investigate how exactly machine learning has been utilized in and for agent-based models so far and to critically discuss the combination of these two promising methods. We find that, indeed, there is a broad range of possible applications of ML to support and complement ABMs in many different ways, already applied in many different disciplines. We see that, so far, ML is mainly used in ABM for two broad cases: First, the modelling of adaptive agents equipped with experience learning and, second, the analysis of outcomes produced by a given ABM. While these are the most frequent, there also exist a variety of many more interesting applications. This being the case, researchers should dive deeper into the analysis of when and how which kinds of ML techniques can support ABM, e.g. by conducting a more in-depth analysis and comparison of different use cases. Nonetheless, as the application of ML in and for ABM comes at certain costs, researchers should not use ML for ABMs just for the sake of doing it.

研究の動機と目的

• 多様な分野にわたり、機械学習が現在、エージェントベースモデル（ABM）において、およびABMの構築にどのように応用されているかを包括的かつ系統的に概説すること。
• 計算コスト、モデルの解釈可能性、科学的価値の観点から、ABMにMLを統合する利点と欠点を批判的に評価すること。
• 理論的および方法論的側面から、ABMにおけるMLの代表的な使用事例を特定・分類すること。
• MLをABMに統合することが正当化されるかどうか（「報酬に見合うか」）を、得られる利点と実装コスト・リスクを天秤にかけ、評価すること。
• 研究目的に応じて、モデルの効率性向上やエージェントの適応性向上といった目的に適したML技術の選定を研究者にガイドすること。

提案手法

• Scopusを用いた系統的文献レビュー（SLR）を実施し、6分野（社会学、経営学、環境、エネルギー、農業、経済学）をカバーする包括的な検索クエリを用いて、合計397件の論文を対象とした。
• ABMのプロセス段階、主要なABMの課題、MLアルゴリズム／タスクのカテゴリーを根拠にした理論的分類枠組みを用い、文献をクラスタリングおよび分析した。
• 事前に定めた含む／含まない基準に従ってスクリーニングとフィルタリングを実施し、最終的に190件の関連論文を抽出した。
• MLの応用タイプ（ABM内での使用 vs. ABMのための使用）、ML技術（例：強化学習、ニューラルネットワーク）、ABMの目的（例：エージェントの学習、出力分析）などの次元に沿って研究を分類した。
• 文献に対する定性的な統合と批判的考察を実施し、MLがABM文脈で果たす利点やリスクに関する主張を評価した。
• MLを用いたABM応用における、モデルのパフォーマンス、計算コスト、説明可能性のトレードオフを評価した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: これまでに機械学習は、エージェントベースモデルにおいて、およびABMの構築にどのように活用されてきたか？
• RQ2 RQ2: ABMにおける機械学習の使用には、どのような潜在的な利点と欠点があるか？
• RQ3 RQ3: MLをABMに統合することが最も有益となる具体的な文脈は何か。逆に、どのような状況では逆効果となる可能性があるか？
• RQ4 RQ4: 強化学習やニューラルネットワークといった異なるML技術は、エージェントの適応性向上や出力分析といったABMの目的を果たす上で、どのように比較できるか？
• RQ5 RQ5: 特にモデルの解釈可能性と計算オーバーヘッドの観点から、ABMにMLを適用する際の主なリスクと制限要因は何か？

主な発見

• 機械学習は、主に2つの目的でABMに使用されている：(1) 経験に基づく学習を用いた適応的エージェントのモデリング、(2) 既存のABMシミュレーションの出力結果の分析。
• 強化学習やその他の経験学習技術が、目的志向の適応的行動をエージェントに与えるために最も一般的に用いられている。
• スラムモデル（マイクロおよびマクロ）のような代替モデル技術は、計算効率の向上に用いられるが、モデルの解釈可能性や説明力が低下する可能性がある。
• ABMにおけるMLの使用は、特に深層ニューラルネットワークの学習にかかる時間（1モデルあたり数分から数時間）を含め、計算コストを増加させる。
• モデルのパrameter設定や出力予測にMLに過剰に依存することは、背後にあるメカニズムやダイナミクスを曇らせるおそれがあり、ABMの科学的価値を低下させる危険性がある。
• 本研究は、高次元でマルチモーダルな出力の取り扱いや、特に大規模なマクロモデルにおけるエージェントの適応性向上といった研究目的がある場合に、MLの統合が最も正当化されると結論づけている。