[論文レビュー] Fast Model-Selection through Adapting Design of Experiments Maximizing Information Gain

Stefano Balietti, Brennan Klein+1 more|arXiv (Cornell University)|Jul 10, 2018

Advanced Bandit Algorithms Research参考文献 16被引用数 5

ひとこと要約

本論文は、情報量の増加を最大化するためにベイジアン最適実験設計を適応させることで、計算的に効率的なモデル選択手法を提案する。AIにインspiredされた探索と分散低減サンプリングを統合することで、迅速かつ正確に競合するモデルを区別できる。実際の実験で、強化学習モデルが人間の行動を最もよく説明しており、ベイジアンナッシュ均衡の予測を上回ることを示した。

ABSTRACT

To perform model-selection efficiently, we must run informative experiments. Here, we extend a seminal method for designing Bayesian optimal experiments that maximize the information gained from data collected. We introduce two computational improvements that make the procedure tractable: a search algorithm from artificial intelligence and a sampling procedure shrinking the space of possible experiments to evaluate. We collected data for five different experimental designs of a simple imperfect information game and show that experiments optimized for information gain make model-selection possible (and cheaper). We compare the ability of the optimal experimental design to discriminate among competing models against the experimental designs chosen by a wisdom of experts prediction experiment. We find that a simple reinforcement learning model best explains human decision-making and that subject behavior is not adequately described by Bayesian Nash equilibrium. Our procedure is general and can be applied iteratively to lab, field and online experiments.

研究の動機と目的

• 実験的調査における非効率的で高コストなモデル選択の課題に対処すること。
• 競合するモデルを区別するための情報量を最大化するように設計されたスケーラブルな実験設計手法の開発。
• 正確性を保持したまま、ベイジアン最適実験設計における計算負荷を軽減すること。
• 専門家が選択した実験設定と比較して、情報量最大化型の実験設計の有効性を評価すること。
• 本手法がラボ実験、フィールド実験、オンライン実験のさまざまな設定に一般化可能であることを示すこと。

提案手法

• モデル区別に向けた情報量の増加を最大化するために、ベイジアン最適実験設計を適応させる。
• 可能な実験の空間を効率的に探索するためのAIにインspiredされた探索アルゴリズムを導入する。
• 評価対象となる候補実験の数を削減するための分散低減サンプリング手順を採用する。
• 単純な不完全情報ゲームにおける5つの実験設計に本手法を適用する。
• 実験選択を導く目的関数として情報量の増加を用いる。
• 逐次的な実験設定において、モデル選択を改善するために手順を繰り返し適用する。

実験結果

リサーチクエスチョン

• RQ1 情報量の増加を最大化する実験設計は、専門家が設計した実験よりもモデル区別において優れているか？
• RQ2 単純な不完全情報ゲームにおける人間の意思決定行動を最もよく説明するのはどの認知モデルか？
• RQ3 ベイジアン最適実験設計を現実世界の応用に計算的に実行可能にするにはどうすればよいか？
• RQ4 強化学習モデルはベイジアンナッシュ均衡と比較して、人間の行動をどの程度よく説明できるか？
• RQ5 提案手法は、ラボ、フィールド、オンラインのさまざまな実験設定に一般化可能か？

主な発見

• 本手法は、実験設計における情報量の増加に注目することで、迅速かつ正確なモデル選択を可能にした。
• 単純な強化学習モデルが、ベイジアンナッシュ均衡を上回り、ゲームにおける人間の意思決定行動を最もよく説明した。
• 情報量の増加に最適化された実験は、専門家が設計した実験では失敗した競合モデルを効果的に区別できた。
• 計算上の改善のおかげで、ベイジアン最適実験設計が現実世界の行動実験に実行可能になった。
• 本手法は、ラボ、フィールド、オンラインの実験設定において一般化可能であることが示された。
• 情報量に基づく実験設計は、真の背後にあるモデルを特定する点で、専門家が予測した設計よりも効果的であった。