[논문 리뷰] Enhancing Healthcare Recommendation Systems with a Multimodal LLMs-based MOE Architecture

Jingyu Xu, Yang Wang|arXiv (Cornell University)|2024. 12. 16.

Recommender Systems and Techniques인용 수 4

한 줄 요약

이 논문은 개인화된 헬스케어 추천 시스템의 성능을 향상시키기 위해 대규모 언어 모델(Large Language Models, LLMs)을 통합한 다중모달 Mixture-of-Experts(MOE) 아키텍처를 제안한다. 환자 기술서와 제한된 이미지 데이터를 통합함으로써, 단독 MOE 또는 LLM 기반 베이스라인 대비 정밀도, 재현율, NDCG, MAP@5에서 뛰어난 성능을 달성한다. 다만 이미지 입력은 성능 향상에 기여도가 낮고, 이미지 품질과 재분류 문제에 민감한 편이다.

ABSTRACT

With the increasing availability of multimodal data, many fields urgently require advanced architectures capable of effectively integrating these diverse data sources to address specific problems. This study proposes a hybrid recommendation model that combines the Mixture of Experts (MOE) framework with large language models to enhance the performance of recommendation systems in the healthcare domain. We built a small dataset for recommending healthy food based on patient descriptions and evaluated the model's performance on several key metrics, including Precision, Recall, NDCG, and MAP@5. The experimental results show that the hybrid model outperforms the baseline models, which use MOE or large language models individually, in terms of both accuracy and personalized recommendation effectiveness. The paper finds image data provided relatively limited improvement in the performance of the personalized recommendation system, particularly in addressing the cold start problem. Then, the issue of reclassification of images also affected the recommendation results, especially when dealing with low-quality images or changes in the appearance of items, leading to suboptimal performance. The findings provide valuable insights into the development of powerful, scalable, and high-performance recommendation systems, advancing the application of personalized recommendation technologies in real-world domains such as healthcare.

연구 동기 및 목표

• 다양한 다중모달 헬스케어 데이터—특히 텍스트와 이미지—를 개인화된 추천 시스템에 통합하는 데 도전하는 것.
• Mixture-of-Experts(MOE)와 대규모 언어 모델(LLMs)의 강점을 융합하여 헬스케어 분야의 추천 정확도와 개인화 수준을 향상시키는 것.
• 이미지 데이터가 추천 성능에 미치는 영향, 특히 콜드 스타트 시나리오와 저품질 또는 변형된 이미지에서의 영향을 평가하는 것.
• 실제 헬스케어 분야—예를 들어 개인화된 영양 분야—에 적용 가능한 확장 가능하고 고성능 추천 프레임워크를 개발하는 것.

제안 방법

• 제안된 아키텍처는 입력 모odal 및 맥락에 따라 동적으로 활성화되는 다수의 전문가 네트워크를 활용하는 Mixture-of-Experts(MOE) 프레임워크를 채택한다.
• 대규모 언어 모델(LLMs)은 환자 제공 텍스트 기술서를 처리하고 의미적 및 임상적 의도를 추출하기 위해 통합된다.
• 텍스트 및 이미지 입력에서 유도된 다중모달 임베딩은 학습 가능한 어텐션 메커니즘을 통해 융합되어 전문가 라우팅 및 표현 학습을 향상시킨다.
• 모델 평가를 위해 환자 기술서와 이미지 입력을 기반으로 한 소규모 맞춤형 데이터셋(건강한 식품 추천을 위한)을 구축한다.
• 정밀도, 재현율, NDCG, MAP@5 최적화를 위해 교차 엔트로피 손실과 대비 손실을 함께 사용해 엔드 투 엔드로 모델을 훈련시킨다.
• 이미지 입력은 시각 인코더를 통해 처리되지만, 재분류 불안정성과 저품질 입력으로 인해 기여도가 제한적이라는 것이 밝혀졌다.

실험 결과

연구 질문

• RQ1 Mixture-of-Experts(MOE)와 대규모 언어 모델(LLMs)를 융합함으로써 헬스케어 환경에서 추천 성능이 어떻게 향상되는가?
• RQ2 이미지 입력은 특히 콜드 스타트 시나리오에서 개인화된 추천에 얼마나 기여하는가?
• RQ3 이미지 품질과 재분류 오류는 다중모달 추천 시스템의 신뢰성과 성능에 어떻게 영향을 미치는가?
• RQ4 하이브리드 MOE-LLM 아키텍처는 정밀도 및 NDCG와 같은 핵심 지표에서 단독 MOE 또는 LLM 기반 추천 모델을 능가할 수 있는가?
• RQ5 의료 추천 시스템에 시각 데이터를 통합할 때의 실질적 한계는 무엇인가?

주요 결과

• 하이브리드 MOE-LLM 모델은 정밀도, 재현율, NDCG, MAP@5를 포함한 모든 평가 지표에서 단독 MOE 및 LLM 기반 베이스라인을 뛰어넘는 성능을 보였다.
• 이미지 데이터는 성능 향상에 상대적으로 기여도가 낮았으며, 특히 환자 기술서가 유일한 입력인 콜드 스타트 시나리오에서는 더욱 그러했다.
• 저품질 또는 외관이 변화한 이미지에서 발생하는 재분류 문제는 추천 정확도와 안정성에 악영향을 미쳤다.
• 모델은 강력한 개인화 능력을 보였으며, LLM이 세밀한 환자 기술서를 효과적으로 해석해 관련 있는 추천을 생성했다.
• 이미지의 기여도가 제한적이었음에도 불구하고, 다중모달 융합 메커니즘은 전반적인 표현 학습과 전문가 라우팅 효율성을 향상시켰다.
• 이 아키텍처는 확장 가능하고 실생활 의료 응용 분야—특히 개인화된 영양 분야—에서 효과적이다.