[논문 리뷰] HoneyBee: A Scalable Modular Framework for Creating Multimodal Oncology Datasets with Foundational Embedding Models

Aakash Tripathi, Asim Waqas외 3명|arXiv (Cornell University)|2024. 05. 13.

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

HoneyBee는 기초 임bedding 모델을 활용하여 원시 임상, 영상 및 결과 데이터에서 기계 학습용 다중모달 종양학 데이터셋을 생성하는 확장성 있고 모듈식인 프레임워크이다. 다양한 데이터 모odal을 통합하고 Hugging Face 데이터셋 및 벡터 데이터베이스를 통해 임베딩을 저장함으로써, 생존 분석, 치료 반응 예측 및 생물학적 표지자 발견과 같은 후행 모델링을 효율적으로 지원한다.

ABSTRACT

HONeYBEE (Harmonized ONcologY Biomedical Embedding Encoder) is an open-source framework that integrates multimodal biomedical data for oncology applications. It processes clinical data (structured and unstructured), whole-slide images, radiology scans, and molecular profiles to generate unified patient-level embeddings using domain-specific foundation models and fusion strategies. These embeddings enable survival prediction, cancer-type classification, patient similarity retrieval, and cohort clustering. Evaluated on 11,400+ patients across 33 cancer types from The Cancer Genome Atlas (TCGA), clinical embeddings showed the strongest single-modality performance with 98.5% classification accuracy and 96.4% precision@10 in patient retrieval. They also achieved the highest survival prediction concordance indices across most cancer types. Multimodal fusion provided complementary benefits for specific cancers, improving overall survival prediction beyond clinical features alone. Comparative evaluation of four large language models revealed that general-purpose models like Qwen3 outperformed specialized medical models for clinical text representation, though task-specific fine-tuning improved performance on heterogeneous data such as pathology reports.

연구 동기 및 목표

• 이질적인 의료 데이터로부터 대규모, 고품질의 다중모달 종양학 데이터셋을 구축하는 데 도전하는 것.
• 최신 기초 모델을 사용하여 원시 임상 노트, 병리 영상 및 방사선 스캔에서 대표적인 임베딩을 생성하는 것.
• Hugging Face 데이터셋 및 PyTorch 데이터로더를 활용하여 표준화되고 접근 가능한 형식으로 정제된, 기계 학습용 데이터셋을 제공하는 것.
• 다양한 데이터 모달을 통합하고 다른 의료 분야에 쉽게 적용할 수 있도록 확장성 있고 유연한 프레임워크를 설계하는 것.
• 수동적 특징 공학에 의존도를 줄이고 강력하고 일반화 가능한 모델 훈련을 가능하게 하여 종양학 연구를 가속화하는 것.

제안 방법

• 임상 기록, 웨이브 슬라이드 영상, 방사선 스캔 및 환자 결과와 같은 다양한 데이터 모달을 통합된 파이프라인으로 통합하는 것.
• 변환기 기반 기초 모델을 활용하여 수동적 특징 공학 없이도 원시 의료 데이터에서 조밀하고 대표적인 임베딩을 생성하는 것.
• Hugging Face 데이터셋 및 PyTorch 데이터로더를 사용하여 기계 학습 워크플로우에 적합한 표준화되고 접근 가능한 형식으로 임베딩을 저장하고 제공하는 것.
• 후행 응용 프로그램에서 임베딩의 유사성 검색 및 검색을 효율적으로 수행하기 위해 벡터 데이터베이스를 활용하는 것.
• 데이터 이질성 처리 및 임베딩 품질 향상을 위해 표준화된 전처리 및 정규화 기법을 적용하는 것.
• 임베딩 생성 기능을 갖춘 MINDS 프레임워크를 확장하여 대규모 데이터 통합 및 표현 학습을 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 기초 모델이 임상, 영상 및 결과 모달 전반의 이질적인 원시 종양학 데이터로부터 의미 있고 대표적인 임베딩을 효과적으로 생성할 수 있는가?
• RQ2 생성된 임베딩이 생존 예측 및 치료 반응 모델링과 같은 후행 종양학 작업에서 얼마나 잘 성능을 발휘하는가?
• RQ3 HoneyBee 프레임워크가 기계 학습 연구를 위한 다중모달 종양학 데이터셋의 접근성과 사용 용이성을 얼마나 향상시키는가?
• RQ4 프레임워크가 새로운 데이터 모달 통합 또는 다른 의료 분야에 적응하는 데 있어 확장성과 모듈성이 얼마나 높은가?
• RQ5 TCGA와 같이 대규모이지만 잠재적으로 편향된 데이터셋에서 유도된 임베딩을 기반으로 훈련된 모델에서 데이터 편향성과 대표성의 영향이 일반화에 미치는 영향은 무엇인가?

주요 결과

• HoneyBee 프레임워크는 원시 임상 노트, 병리 영상 및 방사선 영상에서 고품질의 임베딩을 성공적으로 생성하여 임상적으로 관련된 패턴을 포착하였다.
• 생성된 임베딩은 생존 분석 및 치료 반응 예측과 같은 후행 작업에서 뛰어난 성능을 보이며 그 대표성의 타당성을 입증하였다.
• Hugging Face 데이터셋 및 벡터 데이터베이스 통합을 통해 효율적인 데이터 검색 및 모델 훈련을 가능하게 하였다.
• 임베딩은 의미 있는 군집화와 의미 관계를 보이며 생물학적 및 임상 정보를 효과적으로 포착하고 있음을 시사하였다.
• 프레임워크는 확장성과 모듈성이 뛰어나 새로운 데이터 유형의 통합 및 다른 의료 분야에의 적응을 지원한다.
• HoneyBee를 사용해 생성한 TCGA 기반 데이터셋은 종양학 기계 학습 연구를 위한 가치 있는 즉시 사용 가능한 자원이 되었다.