[论文解读] Flud: a hybrid crowd-algorithm approach for visualizing biological networks

Aditya Bharadwaj, David Gwizdala+3 more|arXiv (Cornell University)|Aug 20, 2019

Data Visualization and Analytics参考文献 78被引用 4

一句话总结

Flud 是一种混合众包-算法方法，结合人类直觉与算法建议，为复杂信号通路创建具有生物学意义的布局。通过使用目的导向的游戏界面，非专家能够通过迭代的、基于标准的改进来优化网络可视化，其表现显著优于在高环路数量图上使用纯算法方法的性能。

ABSTRACT

Modern experiments in many disciplines generate large quantities of network (graph) data. Researchers require aesthetic layouts of these networks that clearly convey the domain knowledge and meaning. However, the problem remains challenging due to multiple conflicting aesthetic criteria and complex domain-specific constraints. In this paper, we present a strategy for generating visualizations that can help network biologists understand the protein interactions that underlie processes that take place in the cell. Specifically, we have developed Flud, an online game with a purpose (GWAP) that allows humans with no expertise to design biologically meaningful graph layouts with the help of algorithmically generated suggestions. Further, we propose a novel hybrid approach for graph layout wherein crowdworkers and a simulated annealing algorithm build on each other's progress. To showcase the effectiveness of Flud, we recruited crowd workers on Amazon Mechanical Turk to lay out complex networks that represent signaling pathways. Our results show that the proposed hybrid approach outperforms state-of-the-art techniques for graphs with a large number of feedback loops. We also found that the algorithmically generated suggestions guided the players when they are stuck and helped them improve their score. Finally, we discuss broader implications for mixed-initiative interactions in human computation games.

研究动机与目标

• 解决在具有高反馈回路数量的复杂细胞信号网络中，创建具有生物学意义且美观布局的挑战。
• 弥合完全自动化布局算法与人工专家设计之间的差距，使非专家众包工作者能够有效参与。
• 开发一种混合主动性系统，平衡网络可视化中多个相互冲突的美学与领域特定标准。
• 评估将人类直觉与算法建议相结合，是否能产生优于当前最先进自动化方法的布局。

提出的方法

• Flud 是一种带有目的的在线游戏（GWAP），将网络布局任务呈现为拼图，允许非专家玩家迭代调整节点位置。
• 系统基于五项标准计算综合布局评分：最小化边交叉、减少边长、分散不连通节点对、增加节点与边之间的分离度，以及最大化向下指向的路径。
• 玩家可实时获取各项标准的评分及整体布局评分，从而做出知情且平衡各项标准的决策。
• 系统以固定顺序（从高到低）自动分配优先模式（如向下路径优化），防止玩家偏向低优先级策略。
• 当玩家卡顿时，系统通过“提示”功能提供算法生成的建议，将注意力集中于更小、更易处理的子问题。
• 模拟退火算法生成初始布局建议，并引导众包工作者，形成人类与算法相互促进的反馈回路。

实验结果

研究问题

• RQ1 在算法建议和明确的美学标准引导下，非专家众包工作者能否生成高质量的生物网络可视化？
• RQ2 在具有大量反馈回路的复杂网络中，混合众包-算法方法是否优于纯自动化布局算法？
• RQ3 与用户自主选择模式相比，系统自动按优先级顺序分配模式如何影响玩家表现和布局质量？
• RQ4 当玩家在布局任务中卡顿时，算法建议在多大程度上能提升其表现？
• RQ5 整合生物学约束条件——最大化向下指向的路径——是否能提升信号通路可视化结果的可解释性？

主要发现

• 在具有大量环路的网络中，混合式 Flud 方法显著优于当前最先进的自动化布局算法，特别是在优化向下指向路径方面表现突出。
• 获得算法建议的玩家在评分上表现出可测量的提升，尤其是在卡顿时，表明建议提供了有效的引导。
• 自动按优先级顺序分配模式，相比允许玩家自由选择模式，能获得更优的整体布局质量，因为玩家往往倾向于选择不相关的标准。
• 系统提供的实时各项标准评分反馈，使非专家玩家能够就相互冲突的美学目标做出知情且平衡的决策。
• 该方法在三个具有不同环路数量的测试网络上均展现出可重复且一致的改进，验证了其在复杂生物网络中的鲁棒性与可扩展性。