[论文解读] Better safe than sorry: Risky function exploitation through safe optimization

Eric Schulz, Quentin J. M. Huys+3 more|arXiv (Cornell University)|Feb 2, 2016

Gaussian Processes and Bayesian Inference参考文献 12被引用 7

一句话总结

本研究探讨了人类在风险函数优化任务中的行为，参与者必须在避免低于安全阈值结果的前提下最大化奖励。通过使用基于高斯过程的安全优化算法，作者发现参与者优先考虑安全——在安全区域内进行最大化之前，先评估输入是否安全——表明其探索-利用行为具有稳态驱动、风险规避和局部聚焦的特征。

ABSTRACT

Exploration-exploitation of functions, that is learning and optimizing a mapping between inputs and expected outputs, is ubiquitous to many real world situations. These situations sometimes require us to avoid certain outcomes at all cost, for example because they are poisonous, harmful, or otherwise dangerous. We test participants' behavior in scenarios in which they have to find the optimum of a function while at the same time avoid outputs below a certain threshold. In two experiments, we find that Safe-Optimization, a Gaussian Process-based exploration-exploitation algorithm, describes participants' behavior well and that participants seem to care firstly whether a point is safe and then try to pick the optimal point from all such safe points. This means that their trade-off between exploration and exploitation can be seen as an intelligent, approximate, and homeostasis-driven strategy.

研究动机与目标

• 探讨人类在严格安全约束下优化函数时，如何平衡探索与利用。
• 调查人类在该类任务中的行为是否与优先避免有害结果的安全优化算法一致。
• 确定参与者是否采用分层策略：首先确保安全，然后在安全区域内进行最大化。
• 评估稳态在引导函数学习过程中风险规避决策中的作用。
• 评估任务复杂度（单变量与双变量）对探索模式和安全优先策略的影响。

提出的方法

• 参与者执行一项函数学习任务，通过选择输入来观察输出，奖励基于输出值大小。
• 设定了安全阈值：低于50的结果被视为‘不良’，必须完全避免。
• 安全优化算法使用高斯过程回归来建模未知函数并估计不确定性。
• 该算法优先选择具有高安全概率（P(safe) > 0.8）的输入，然后再选择在安全区域内具有高期望输出的输入。
• 模型采用顺序启发式方法：首先评估安全性，然后在安全子集中进行最大化。
• 行为通过混合效应回归模型进行建模，固定效应包括安全区域、最大化者、扩展者和条件，随机截距项也纳入模型。

实验结果

研究问题

• RQ1 当必须严格避免低于阈值的结果时，人类如何探索和利用未知函数？
• RQ2 人类行为在多大程度上与基于高斯过程的安全优化算法一致？
• RQ3 参与者是否优先评估安全性，然后在安全区域内进行最大化，还是同时平衡安全与奖励？
• RQ4 任务复杂度（单变量与双变量）如何影响参与者的风险规避程度和探索模式？
• RQ5 稳态在安全约束下塑造参与者决策过程中起到何种作用？

主要发现

• 参与者的行为可被基于高斯过程的安全优化算法良好描述，该算法会扩展安全区域并在其中进行最大化。
• 参与者表现出强烈的规避风险倾向，始终停留在初始安全输入附近，且在更复杂的双变量任务中极少扩展安全区域。
• 输入的安全概率（P(safe) > 0.8）是选择行为的主要决定因素，表明其对安全的关注远超对奖励最大化的关注。
• 在安全条件下，安全区域对选择有显著正向影响（b = 2.11，SE = 0.07），同时最大化者效应也显著（b = 0.23，SE = 0.09）。
• 扩展变量（扩展安全区域的努力）不显著（b = 0.03，SE = 0.08），表明参与者对扩展安全区域兴趣极低。
• 决策树分析显示，只有高于阈值的概率显著影响选择，进一步证实了‘安全优先’的启发式策略。