[论文解读] Fast Model-Selection through Adapting Design of Experiments Maximizing Information Gain

Stefano Balietti, Brennan Klein+1 more|arXiv (Cornell University)|Jul 10, 2018

Advanced Bandit Algorithms Research参考文献 16被引用 5

一句话总结

本文提出了一种计算高效的模型选择方法，通过将贝叶斯最优实验设计适配至最大化信息增益，实现对竞争模型的快速准确区分。通过整合人工智能启发式搜索与方差减少采样，该方法在实验中实现了高效且精确的模型选择——实证表明，强化学习模型最能解释人类在一款游戏中的行为表现，优于贝叶斯纳什均衡的预测结果。

ABSTRACT

To perform model-selection efficiently, we must run informative experiments. Here, we extend a seminal method for designing Bayesian optimal experiments that maximize the information gained from data collected. We introduce two computational improvements that make the procedure tractable: a search algorithm from artificial intelligence and a sampling procedure shrinking the space of possible experiments to evaluate. We collected data for five different experimental designs of a simple imperfect information game and show that experiments optimized for information gain make model-selection possible (and cheaper). We compare the ability of the optimal experimental design to discriminate among competing models against the experimental designs chosen by a wisdom of experts prediction experiment. We find that a simple reinforcement learning model best explains human decision-making and that subject behavior is not adequately described by Bayesian Nash equilibrium. Our procedure is general and can be applied iteratively to lab, field and online experiments.

研究动机与目标

• 解决实验研究中模型选择效率低下且成本高昂的问题。
• 开发一种可扩展的实验设计方法，以最大化信息增益，从而区分竞争模型。
• 在保持准确性的前提下，减轻贝叶斯最优实验设计的计算负担。
• 评估信息最大化设计相较于专家设计的实验方案的有效性。
• 证明该方法在实验室、实地及在线实验中的通用性。

提出的方法

• 将贝叶斯最优实验设计适配至最大化信息增益，以实现模型区分。
• 引入一种人工智能启发式搜索算法，高效探索可能实验的组合空间。
• 采用方差减少采样程序，缩小需评估的候选实验数量。
• 将该方法应用于一个简单不完全信息博弈中的五个实验设计。
• 以信息增益作为目标函数，指导实验选择。
• 在序列实验设置中迭代应用该过程，以优化模型选择。

实验结果

研究问题

• RQ1 基于信息增益最大化的实验设计是否能在模型区分上超越专家设计的实验？
• RQ2 哪种认知模型最能解释人类在简单不完全信息博弈中的决策行为？
• RQ3 如何使贝叶斯最优实验设计在现实应用中具备计算可行性？
• RQ4 与贝叶斯纳什均衡相比，强化学习模型在多大程度上能解释人类行为？
• RQ5 所提出的方法是否可在不同实验场景（实验室、实地、在线）中实现泛化？

主要发现

• 所提出的方法通过聚焦于实验设计中的信息增益，实现了快速且准确的模型选择。
• 一个简单的强化学习模型最能解释该游戏中的决策行为，优于贝叶斯纳什均衡模型。
• 以信息增益优化的实验成功区分了原本在专家设计实验中失败的竞争模型。
• 计算效率的提升使贝叶斯最优实验设计在真实世界的行为实验中变得可行。
• 该方法在实验室、实地及在线实验设置中均表现出良好的泛化能力。
• 基于信息增益的实验设计在识别真实潜在模型方面，优于专家预测的实验设计。