[论文解读] HoneyBee: A Scalable Modular Framework for Creating Multimodal Oncology Datasets with Foundational Embedding Models

Aakash Tripathi, Asim Waqas+3 more|arXiv (Cornell University)|May 13, 2024

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

HoneyBee 是一个可扩展、模块化的框架，利用基础嵌入模型从原始临床、影像和结果数据中生成具有代表性、适用于机器学习的多模态肿瘤学数据集。通过整合多种数据模态，并利用 Hugging Face 数据集和向量数据库存储嵌入表示，HoneyBee 实现了高效的下游建模，在生存分析、治疗反应预测和生物标志物发现方面均取得显著成效。

ABSTRACT

HONeYBEE (Harmonized ONcologY Biomedical Embedding Encoder) is an open-source framework that integrates multimodal biomedical data for oncology applications. It processes clinical data (structured and unstructured), whole-slide images, radiology scans, and molecular profiles to generate unified patient-level embeddings using domain-specific foundation models and fusion strategies. These embeddings enable survival prediction, cancer-type classification, patient similarity retrieval, and cohort clustering. Evaluated on 11,400+ patients across 33 cancer types from The Cancer Genome Atlas (TCGA), clinical embeddings showed the strongest single-modality performance with 98.5% classification accuracy and 96.4% precision@10 in patient retrieval. They also achieved the highest survival prediction concordance indices across most cancer types. Multimodal fusion provided complementary benefits for specific cancers, improving overall survival prediction beyond clinical features alone. Comparative evaluation of four large language models revealed that general-purpose models like Qwen3 outperformed specialized medical models for clinical text representation, though task-specific fine-tuning improved performance on heterogeneous data such as pathology reports.

研究动机与目标

• 解决从异构医疗数据中构建大规模、高质量、多模态肿瘤学数据集的挑战。
• 利用最先进的基础模型，从原始临床记录、病理图像和放射影像中生成具有代表性的嵌入表示。
• 通过 Hugging Face 数据集和 PyTorch 数据加载器，提供结构化、可访问的、适用于机器学习的标准化数据集存储方式。
• 设计一个模块化、可扩展的框架，支持多种数据模态的集成，并可适配其他医学领域。
• 通过减少对手动特征工程的依赖，实现稳健、泛化能力强的模型训练，从而加速肿瘤学研究。

提出的方法

• 将临床记录、全切片图像、放射影像和患者结局等多种数据模态整合到统一的处理管道中。
• 采用基于 Transformer 的基础模型，从原始医疗数据中生成密集且具有代表性的嵌入表示，无需大量手动特征工程。
• 利用 Hugging Face 数据集和 PyTorch 数据加载器，以标准化、可访问的格式存储和提供嵌入表示，适用于机器学习工作流。
• 利用向量数据库，实现下游应用中嵌入表示的高效相似性搜索与检索。
• 应用标准化的预处理和归一化技术，以应对数据异质性，提升嵌入质量。
• 在 MINDS 框架基础上扩展嵌入生成能力，支持大规模数据集成与表征学习。

实验结果

研究问题

• RQ1 基础模型能否有效从跨临床、影像和结局模态的原始、异构肿瘤学数据中生成有意义且具有代表性的嵌入？
• RQ2 所生成的嵌入在支持下游肿瘤学任务（如生存预测和治疗反应建模）方面的表现如何？
• RQ3 HoneyBee 框架在提升多模态肿瘤学数据集对机器学习研究的可访问性与可用性方面，改善程度如何？
• RQ4 该框架在集成新数据模态或适配其他医学领域时，其可扩展性与模块化程度如何？
• RQ5 当在 TCGA 等大规模但可能存在偏差的数据集上训练模型时，数据偏差与代表性问题对模型泛化能力的影响如何？

主要发现

• HoneyBee 框架成功从原始临床记录、病理图像和放射影像中生成了高质量的嵌入表示，有效捕捉了临床相关模式。
• 所生成的嵌入在下游任务中表现优异，包括生存分析和治疗反应预测，表明其具有良好的表征能力。
• 通过与 Hugging Face 数据集和向量数据库的集成，该框架实现了高效的数据检索与模型训练。
• 嵌入表现出有意义的聚类结构与语义关系，表明其有效捕获了生物学与临床信息。
• 该框架具备可扩展性与模块化设计，支持新数据类型的集成，并可适配其他医学领域。
• 基于 TCGA 构建的 HoneyBee 数据集已成为肿瘤学机器学习研究中极具价值的即用型资源。