[论文解读] Decision-Making Under Uncertainty in Research Synthesis: Designing for the Garden of Forking Paths

Alex Kale, Matthew Kay+1 more|arXiv (Cornell University)|Jan 9, 2019

Data Visualization and Analytics参考文献 66被引用 12

一句话总结

本文研究了在研究综合中面对不确定性时的决策过程，识别出11位研究人员在研究综合过程中做出的480项分析决策，并提出交互式系统以帮助学者探索、推理并沟通在“分叉之路花园”情境下的不确定性。该研究主张开发工具，将关注点从为决策辩护转向评估其对结果的影响，并支持能够减少决策者对不确定性厌恶的沟通策略。

ABSTRACT

To make evidence-based recommendations to decision-makers, researchers conducting systematic reviews and meta-analyses must navigate a garden of forking paths: a series of analytical decision-points, each of which has the potential to influence findings. To identify challenges and opportunities related to designing systems to help researchers manage uncertainty around which of multiple analyses is best, we interviewed 11 professional researchers who conduct research synthesis to inform decision-making within three organizations. We conducted a qualitative analysis identifying 480 analytical decisions made by researchers throughout the scientific process. We present descriptions of current practices in applied research synthesis and corresponding design challenges: making it more feasible for researchers to try and compare analyses, shifting researchers' attention from rationales for decisions to impacts on results, and supporting communication techniques that acknowledge decision-makers' aversions to uncertainty. We identify opportunities to design systems which help researchers explore, reason about, and communicate uncertainty in decision-making about possible analyses in research synthesis.

研究动机与目标

• 理解研究人员在基于证据的研究综合中面对不确定性时如何做出分析决策。
• 识别在研究综合过程中管理不确定性时的系统性挑战，特别是决策辩护与实际影响之间的权衡。
• 探讨研究人员如何在保持怀疑态度与提出可行动、有说服力的建议之间取得平衡。
• 识别支持探索替代分析和透明沟通不确定性的交互式系统的设计机会。
• 通过开发能够保留不确定发现价值的沟通技术，减轻决策者对不确定性的厌恶。

提出的方法

• 对来自三个机构的11名专业研究人员进行了深入的、非结构化的访谈：海军、一所公立大学医学中心和一所退伍军人事务医疗中心。
• 识别并编码了研究综合过程中做出的480项分析决策，重点关注其理由、影响及决策策略。
• 采用定性分析方法，揭示了反复出现的挑战：探索多种分析路径与确定单一路径之间的张力、理由与实际影响之间的脱节，以及保持怀疑态度与确保建议清晰性之间的平衡。
• 结合冯·诺依曼等（1944）的效用理论和不确定性可视化原则，为设计机会提供依据。
• 提出了支持以下功能的系统特性：(1) 探索替代分析，(2) 记录决策背后的推理过程，(3) 沟通定性和定量不确定性。
• 强调通过定制化的沟通技术和对效应量及派生指标中不确定性的可视化表示，设计以减轻决策者对不确定性的厌恶。

实验结果

研究问题

• RQ1 在应用型研究综合中，研究人员如何在做出分析决策时应对‘分叉之路花园’的情境？
• RQ2 研究人员在平衡决策辩护与其实质影响方面面临哪些关键挑战？
• RQ3 决策者对不确定性的厌恶如何影响研究综合结果的呈现及其感知价值？
• RQ4 存在哪些系统设计机会，可帮助研究人员探索、记录并沟通分析选择中的不确定性？
• RQ5 系统如何将研究人员的关注点从为决策辩护转向评估其对研究发现后果的影响？

主要发现

• 研究人员在整个研究综合过程中平均做出480项分析决策，这些决策在理由和对结果的实际影响方面存在显著差异。
• 研究人员的决策理由与这些决策对研究结果的实际影响之间存在显著脱节，表明需要将关注点从辩护转向影响评估。
• 决策者常常将不确定结果视为不可操作，即使其包含有价值的信息，表明需要开发能够缓解对不确定性厌恶的沟通技术。
• 研究人员经常使用定性备注（如局限性部分和补充幻灯片）来传达假设和限制，但这些方法往往未被充分利用或未系统呈现。
• 所提出的系统可帮助研究人员探索多种分析路径，记录推理过程，并以符合决策者效用函数的方式可视化不确定性。
• 将不确定性传播整合到派生指标（如时间或成本节约）中，可提升决策者对不确定结果的理解与使用。