[论文解读] Enhancing Healthcare Recommendation Systems with a Multimodal LLMs-based MOE Architecture

Jingyu Xu, Yang Wang|arXiv (Cornell University)|Dec 16, 2024

Recommender Systems and Techniques被引用 4

一句话总结

本文提出一种结合大语言模型（LLMs）的多模态专家混合（MOE）架构，以提升个性化医疗推荐系统。通过整合患者描述与有限的图像数据，该模型在精确率、召回率、NDCG 和 MAP@5 上的表现优于独立的 MOE 或 LLM 基线模型，尽管图像输入带来的增益有限，且对图像质量和重新分类问题较为敏感。

ABSTRACT

With the increasing availability of multimodal data, many fields urgently require advanced architectures capable of effectively integrating these diverse data sources to address specific problems. This study proposes a hybrid recommendation model that combines the Mixture of Experts (MOE) framework with large language models to enhance the performance of recommendation systems in the healthcare domain. We built a small dataset for recommending healthy food based on patient descriptions and evaluated the model's performance on several key metrics, including Precision, Recall, NDCG, and MAP@5. The experimental results show that the hybrid model outperforms the baseline models, which use MOE or large language models individually, in terms of both accuracy and personalized recommendation effectiveness. The paper finds image data provided relatively limited improvement in the performance of the personalized recommendation system, particularly in addressing the cold start problem. Then, the issue of reclassification of images also affected the recommendation results, especially when dealing with low-quality images or changes in the appearance of items, leading to suboptimal performance. The findings provide valuable insights into the development of powerful, scalable, and high-performance recommendation systems, advancing the application of personalized recommendation technologies in real-world domains such as healthcare.

研究动机与目标

• 解决将多样化多模态医疗数据（尤其是文本与图像）整合到个性化推荐系统中的挑战。
• 通过结合专家混合（MOE）与大语言模型（LLMs）的优势，提升医疗推荐的准确率与个性化水平。
• 评估图像数据对推荐性能的影响，特别是在冷启动场景以及面对低质量或变化较大的图像时的表现。
• 开发一种可扩展、高性能的推荐框架，适用于个性化营养等真实医疗领域。

提出的方法

• 所提出的架构采用专家混合（MOE）框架，其中多个专家网络根据输入模态和上下文动态激活。
• 集成大语言模型（LLMs）以处理和理解患者提供的文本描述，提取语义与临床意图。
• 通过可学习的注意力机制融合文本与图像输入的多模态嵌入，以指导专家路由并增强表征学习。
• 构建了一个定制的小规模健康食品推荐数据集，使用患者描述与图像输入来评估模型。
• 采用交叉熵损失与对比损失进行端到端训练，以优化精确率、召回率、NDCG 和 MAP@5。
• 图像输入通过视觉编码器处理，但其贡献有限，原因在于重新分类不稳定及输入图像质量较低。

实验结果

研究问题

• RQ1 将专家混合（MOE）与大语言模型（LLMs）结合，如何提升医疗场景下的推荐性能？
• RQ2 图像输入在多大程度上提升了个性化推荐，特别是在冷启动场景下？
• RQ3 图像质量与重新分类错误如何影响多模态推荐系统的可靠性与性能？
• RQ4 混合 MOE-LLM 架构是否能在精确率与 NDCG 等关键指标上超越独立的 MOE 或基于 LLM 的推荐模型？
• RQ5 将视觉数据整合到医疗推荐系统中存在哪些实际限制？

主要发现

• 混合 MOE-LLM 模型在所有评估指标（包括精确率、召回率、NDCG 和 MAP@5）上显著优于独立的 MOE 和 LLM 基线模型。
• 图像数据对性能提升的贡献相对较小，尤其在冷启动场景中，患者描述是主要输入来源。
• 图像重新分类问题（特别是低质量或外观发生变化的图像）对推荐准确率与稳定性造成了负面影响。
• 该模型展现出强大的个性化能力，LLMs 能够有效理解患者描述中的细微语义，生成相关推荐。
• 尽管图像带来的增益有限，但多模态融合机制仍提升了整体表征学习与专家路由效率。
• 该架构具备可扩展性，适用于真实医疗应用，尤其在个性化营养等领域能够有效发挥作用。