[论文解读] AGATHA: Automatic Graph-mining And Transformer based Hypothesis generation Approach

Justin Sybrandt, Ilya Tyagin+2 more|arXiv (Cornell University)|Feb 13, 2020

Computational Drug Discovery Methods被引用 5

一句话总结

AGATHA 是一个基于深度学习的假说生成系统，通过使用句子级别的自然语言处理技术从生物医学文献中构建大规模语义图，利用学习到的表征进行嵌入，并采用基于 Transformer 的模型对新研究关联的可能术语对进行排序。它在 2015 年基准测试中实现了 0.901 的 AUC，达到当前最先进水平，并展现出强大的跨子领域泛化能力。

ABSTRACT

Medical research is risky and expensive. Drug discovery, as an example, requires that researchers efficiently winnow thousands of potential targets to a small candidate set for more thorough evaluation. However, research groups spend significant time and money to perform the experiments necessary to determine this candidate set long before seeing intermediate results. Hypothesis generation systems address this challenge by mining the wealth of publicly available scientific information to predict plausible research directions. We present AGATHA, a deep-learning hypothesis generation system that can introduce data-driven insights earlier in the discovery process. Through a learned ranking criteria, this system quickly prioritizes plausible term-pairs among entity sets, allowing us to recommend new research directions. We massively validate our system with a temporal holdout wherein we predict connections first introduced after 2015 using data published beforehand. We additionally explore biomedical sub-domains, and demonstrate AGATHA's predictive capacity across the twenty most popular relationship types. This system achieves best-in-class performance on an established benchmark, and demonstrates high recommendation scores across subdomains. Reproducibility: All code, experimental data, and pre-trained models are available online: sybrandt.com/2020/agatha

研究动机与目标

• 通过自动化假说生成应对生物医学发现加速的挑战，以应对文献量呈指数级增长的现状。
• 克服以往系统依赖启发式排序、人工监督或范围狭窄的局限，实现可扩展、数据驱动的发现。
• 开发一个能够大规模生成高质量、跨领域的研究假说的系统，同时最大限度减少人工干预。
• 实现快速、高通量的查询（每秒数百次查询），支持多对多的假说推荐。
• 在基准数据集上实现卓越性能，同时在包括罕见和复杂关系在内的多样化生物医学子领域中实现泛化。

提出的方法

• 利用生物医学文本的句子级嵌入构建语义多层图，借助 SciBERT 和 ScispaCy 实现领域特定的自然语言处理。
• 通过学习到的共享表征空间对图进行嵌入，以捕捉实体和关系之间的语义关系。
• 训练一个 Transformer 编码器模型，基于术语对在图中的上下文和结构接近度预测其关联的可信度。
• 将先前工作中使用的启发式排序标准替换为通过监督训练学习到的、端到端可微的排序函数。
• 采用时间隔离验证策略，使用 2015 年 1 月 1 日之前的数据进行训练，使用之后引入的关联进行测试。
• 将模型应用于 20 个生物医学子领域，使用标准基准评估其在多样化关系类型上的表现。

实验结果

研究问题

• RQ1 在大规模、句子级别的语义图上进行训练的深度学习模型，是否能在预测新颖生物医学关系方面优于基于启发式的系统？
• RQ2 单一统一模型在多样化生物医学子领域和关系类型上的泛化能力有多强？
• RQ3 与基于规则或路径的方法相比，学习到的排序标准在识别可信且此前未被发现的关联方面有多高效？
• RQ4 该系统是否能在时间隔离基准上保持高性能，从而证明其对未来发现的预测有效性？
• RQ5 与 GrEDeL 或 Moliere 等先前模型相比，使用基于 Transformer 的架构是否能提升泛化能力和排序质量？

主要发现

• AGATHA 在 2015 年基准测试中达到 0.901 的 ROC AUC，显著优于先前最先进水平的 0.718。
• 该系统在 20 种最常用的生物医学关系类型中均表现出色，表明其具备广泛的子领域泛化能力。
• 时间隔离验证结果表明，AGATHA 仅使用 2015 年以前的数据即可预测 2015 年后引入的关联，验证了其预测能力。
• 该模型支持高吞吐量查询（在 GPU 上每秒可处理数百次查询），使多对多的假说推荐成为可能。
• 学习到的排序标准优于启发式方法，减少了对人工监督的依赖，提升了发现效率。
• 该系统为开源并公开可用，包括预训练模型和代码，已发布 2015 年验证版本和更新的 2019 年版本。