[論文レビュー] HoneyBee: A Scalable Modular Framework for Creating Multimodal Oncology Datasets with Foundational Embedding Models

Aakash Tripathi, Asim Waqas+3 more|arXiv (Cornell University)|May 13, 2024

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

HoneyBee は、スケーラブルでモジュラーなフレームワークであり、基礎となる埋め込みモデルを活用して、生の臨床データ、画像データ、アウトカムデータから代表的で機械学習に適したマルチモーダルがん研究データセットを生成する。異なるデータモダリティを統合し、Hugging Face データセットとベクトルデータベースを介して埋め込みを保存することで、生存予測、治療反応予測、バイオマーカー探索の分野で実証された成功を収めた効率的な下流モデリングを可能にする。

ABSTRACT

HONeYBEE (Harmonized ONcologY Biomedical Embedding Encoder) is an open-source framework that integrates multimodal biomedical data for oncology applications. It processes clinical data (structured and unstructured), whole-slide images, radiology scans, and molecular profiles to generate unified patient-level embeddings using domain-specific foundation models and fusion strategies. These embeddings enable survival prediction, cancer-type classification, patient similarity retrieval, and cohort clustering. Evaluated on 11,400+ patients across 33 cancer types from The Cancer Genome Atlas (TCGA), clinical embeddings showed the strongest single-modality performance with 98.5% classification accuracy and 96.4% precision@10 in patient retrieval. They also achieved the highest survival prediction concordance indices across most cancer types. Multimodal fusion provided complementary benefits for specific cancers, improving overall survival prediction beyond clinical features alone. Comparative evaluation of four large language models revealed that general-purpose models like Qwen3 outperformed specialized medical models for clinical text representation, though task-specific fine-tuning improved performance on heterogeneous data such as pathology reports.

研究の動機と目的

• 異種の医療データから大規模で高品質なマルチモーダルのがん研究データセットを構築する課題に対処すること。
• 最先端の基礎的モデルを用いて、生の臨床ノート、病理画像、レントゲン画像から代表的な埋め込みを生成すること。
• Hugging Face データセットと PyTorch データローダーを用いた構造的かつアクセス可能なストレージにより、機械学習に適したデータセットを提供すること。
• 多様なデータモダリティの統合を可能にし、他の医療分野へも適応可能なモジュラーかつ拡張可能なフレームワークを設計すること。
• 手動による特徴工学の依存を減らし、強固で一般化可能なモデル学習を可能にするために、のがん研究を加速すること。

提案手法

• 臨床記録、ウェルスライド画像、レントゲン画像、患者のアウトカムといった複数のデータモダリティを統合し、一元的なパイプラインに統合する。
• トランスフォーマーに基づく基礎的モデルを用いて、広範な手動特徴工学を伴わずに、生の医療データから高密度で代表的な埋め込みを生成する。
• Hugging Face データセットと PyTorch データローダーを用いて、機械学習ワークフローに適した標準的かつアクセス可能な形式で埋め込みを保存・配信する。
• 下流アプリケーションにおける埋め込みの類似検索およびリトリーブを効率的に行うために、ベクトルデータベースを活用する。
• データの異種性に対処し、埋め込み品質を向上させるために、標準化された前処理および正規化技術を適用する。
• 埋め込み生成機能を備えた MINDS フレームワークを拡張し、スケーラブルなデータ統合と表現学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 基礎的モデルは、臨床、画像、アウトカムの各モダリティにわたる異種のがん研究データから、意味的で代表的な埋め込みを効果的に生成できるか？
• RQ2 生成された埋め込みは、生存予測や治療反応モデリングといった下流タスクにおいてどの程度有効に機能するか？
• RQ3 HoneyBee フレームワークは、マルチモーダルのがん研究データセットの機械学習研究におけるアクセシビリティと使いやすさをどの程度向上させるか？
• RQ4 新しいデータモダリティの統合や他の医療分野への適応において、このフレームワークのスケーラビリティとモジュラリティはどの程度高いか？
• RQ5 TCGA のような大規模だが潜在的に偏ったデータセットからの埋め込みを用いてモデルを学習させる場合、データバイアスと代表性の影響がモデルの一般化性能に及ぼす影響はいかほどか？

主な発見

• HoneyBee フレームワークは、生の臨床ノート、病理画像、レントゲン画像から高品質な埋め込みを効果的に生成し、臨床的に関連するパターンを捉えた。
• 生成された埋め込みは、生存予測や治療反応予測といった下流タスクで優れた性能を示し、その代表的であることが裏付けられた。
• Hugging Face データセットとベクトルデータベースとの統合により、効率的なデータ取得とモデル学習が可能になった。
• 埋め込みには意味的なクラスタリングと意味関係が見られ、生物学的および臨床的情報を効果的に捉えていることが示された。
• フレームワークは拡張可能でモジュラーであり、新たなデータタイプの統合や他の医療分野への適応が可能である。
• HoneyBee を用いて作成された TCGA ベースのデータセットは、のがん研究の機械学習研究にとって価値のある、即時利用可能なリソースである。