[论文解读] Big Data Analytics in Bioinformatics: A Machine Learning Perspective

Hirak J. Kashyap, Hasin A. Ahmed+3 more|arXiv (Cornell University)|Jun 15, 2015

Genetics, Bioinformatics, and Biomedical Research被引用 72

一句话总结

本文从机器学习视角探讨了生物信息学中大数据分析的挑战，重点解决在处理海量、异构、增量及地理分布的生物数据时所面临的难题。文章综述了现有大数据工具与机器学习技术，指出了在基因调控网络构建与PPI网络分析等任务中，可扩展性、容错性及迭代分析方面的技术缺口，并呼吁构建面向复杂生物信息学生命周期的集成式大数据架构。

ABSTRACT

Bioinformatics research is characterized by voluminous and incremental datasets and complex data analytics methods. The machine learning methods used in bioinformatics are iterative and parallel. These methods can be scaled to handle big data using the distributed and parallel computing technologies. Usually big data tools perform computation in batch-mode and are not optimized for iterative processing and high data dependency among operations. In the recent years, parallel, incremental, and multi-view machine learning algorithms have been proposed. Similarly, graph-based architectures and in-memory big data tools have been developed to minimize I/O cost and optimize iterative processing. However, there lack standard big data architectures and tools for many important bioinformatics problems, such as fast construction of co-expression and regulatory networks and salient module identification, detection of complexes over growing protein-protein interaction data, fast analysis of massive DNA, RNA, and protein sequence data, and fast querying on incremental and heterogeneous disease networks. This paper addresses the issues and challenges posed by several big data problems in bioinformatics, and gives an overview of the state of the art and the future research opportunities.

研究动机与目标

• 应对生物信息学中分析海量、异构及增量生物数据日益增长的挑战。
• 识别传统大数据平台（如MapReduce）在处理生物信息学中常见的迭代性与数据依赖型机器学习工作负载时的局限性。
• 调研生物信息学中大数据分析的现有工具与技术，特别是基于Hadoop、云平台及内存计算的方案。
• 强调在共表达网络构建与疾病网络查询等关键生物信息学问题上，缺乏标准化、可扩展且具备容错能力的大数据架构。
• 呼吁构建集成式的大数据分析框架，以支持复杂生物数据的迭代式、并行化及多视图机器学习。

提出的方法

• 调研了前沿的大数据平台（如Hadoop、MapReduce、Storm）及其在生物信息学工作负载中的适用性。
• 回顾了增量式、并行化及多视图聚类等机器学习技术，用于处理生物信息学中复杂的迭代与数据依赖关系。
• 分析了批处理模型（如MapReduce）与流式处理及图计算架构在I/O开销与容错性方面的性能权衡。
• 评估了BioPig、Crossbow、SeqPig以及基于云的平台（CloVR、Rainbow）在大规模序列分析与通路分析中的应用。
• 讨论了内存计算与图计算系统在降低I/O成本、优化机器学习流水线中迭代处理效率方面的潜力。
• 提出需要构建统一的大数据架构，整合容错性、可扩展性及对迭代计算的原生支持，以适配生物信息学工作负载。

实验结果

研究问题

• RQ1 传统大数据平台（如MapReduce）在处理生物信息学中迭代性与数据依赖型机器学习工作负载时表现如何？
• RQ2 现有大数据工具在支持生物网络（如PPI、调控网络、疾病网络）的可扩展性、增量处理与容错分析方面存在哪些关键局限？
• RQ3 当前用于序列分析、通路分析与基因网络构建的工具在多大程度上利用了分布式或云原生计算？
• RQ4 什么样的架构特性是大数据库分析平台所必需的，以有效支持生物信息学中复杂且迭代的机器学习任务？
• RQ5 与批处理模型相比，内存计算与图计算系统在提升生物信息学大数据分析效率方面有何优势？

主要发现

• 传统大数据平台（如MapReduce）由于I/O开销高且缺乏对数据依赖的优化，不适合用于生物信息学中的迭代式机器学习任务。
• 尽管BioPig与Crossbow等工具利用Hadoop实现了大规模序列分析，但大多数生物信息学问题（尤其是网络与通路分析）仍缺乏可扩展的分布式或云原生解决方案。
• 图计算与内存计算平台在降低I/O成本、提升迭代处理性能方面展现出潜力，但通常缺乏容错能力，或在生物信息学中尚未被广泛采用。
• 目前大多数用于通路分析的生物信息学工具（如GO-Elite、PathVisio、Pathway Processor）并非基于分布式或云平台构建，限制了其可扩展性。
• 在支持生物信息学工作负载全谱（高数据量、高速度、多样性、真实性、增量更新及复杂迭代计算）方面，标准化、全面的大数据架构仍存在显著空白。
• 机器学习与可扩展大数据平台的集成仍处于初级阶段，尤其在显著模块识别、调控网络构建与动态疾病网络查询等任务中尤为明显。