[論文レビュー] Multimodal Clinical Trial Outcome Prediction with Large Language Models

Wenhao Zheng, Wang, Liaoyaqi+6 more|arXiv (Cornell University)|Feb 9, 2024

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

LIFTEDは、多様なデータモダリティを自然言語記述に変換する大規模言語モデル（LLM）を活用することで、スパース混合エキスパート（SMoE）アーキテクチャを介して統一的でノイズに強い表現学習を実現する、マルチモーダル臨床試験成績予測フレームワークを提案する。本手法は、共有情報パターンを動的に同定し、モダリティ寄与度を適応的に重みづけすることで、臨床試験の全3フェーズで最先端の性能を達成する。

ABSTRACT

The clinical trial is a pivotal and costly process, often spanning multiple years and requiring substantial financial resources. Therefore, the development of clinical trial outcome prediction models aims to exclude drugs likely to fail and holds the potential for significant cost savings. Recent data-driven attempts leverage deep learning methods to integrate multimodal data for predicting clinical trial outcomes. However, these approaches rely on manually designed modal-specific encoders, which limits both the extensibility to adapt new modalities and the ability to discern similar information patterns across different modalities. To address these issues, we propose a multimodal mixture-of-experts (LIFTED) approach for clinical trial outcome prediction. Specifically, LIFTED unifies different modality data by transforming them into natural language descriptions. Then, LIFTED constructs unified noise-resilient encoders to extract information from modal-specific language descriptions. Subsequently, a sparse Mixture-of-Experts framework is employed to further refine the representations, enabling LIFTED to identify similar information patterns across different modalities and extract more consistent representations from those patterns using the same expert model. Finally, a mixture-of-experts module is further employed to dynamically integrate different modality representations for prediction, which gives LIFTED the ability to automatically weigh different modalities and pay more attention to critical information. The experiments demonstrate that LIFTED significantly enhances performance in predicting clinical trial outcomes across all three phases compared to the best baseline, showcasing the effectiveness of our proposed key components.

研究の動機と目的

• 手動で設計されたモダリティ固有のエンコーダーに依存する既存モデルの限界（拡張性の欠如やクロスマダリティパターン認識の困難さ）を解消すること。
• 分子構造、疾患記述、試験文書などの異種マルチモーダルデータ（例：分子構造、疾患記述、試験文書）を共通の自然言語フォーマットに統一し、一貫性のある表現学習を可能にすること。
• スパース混合エキスパート（SMoE）フレームワークを用いて、異なるモダリティ間で類似する情報パターンを同定・抽出することで、表現学習の質を向上させること。
• モダリティ固有の表現を動的に適応的に統合できるMixture-of-Expertsモジュールを導入し、入力に応じた重要度に応じた重み付けを可能にすること。
• 訓練中にモダリティ固有の表現の質を向上させるために補助損失を導入することで、予測の頑健性と性能を向上させること。

提案手法

• 大規模言語モデル（LLM）を用いて、分子、疾患名、試験文書などのマルチモーダル入力を自然言語記述に変換し、統一的な処理を可能にする。
• ノイズに強く、統一されたエンコーダーをトランスフォーマーに基づいて採用し、モダリティ固有の特徴を保持した表現を抽出する。
• 動的にルーティングされるエキスパートを用いて、スパース混合エキスパート（SMoE）フレームワークを適用し、モダリティ間で共有される情報パターンを同定・抽出する。
• 2番目のMoEモジュールを用いて、異なるモダリティからの表現を動的に統合し、入力に応じて重要度に応じた重み付けが可能なようにする。
• 訓練中にモダリティ固有の表現の質と判別性を向上させるために補助損失を導入する。
• MoEの階層的構造を活用して、効率的かつ条件付き計算を実現し、エキスパート使用の冗長性を低減する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル臨床試験データを自然言語記述に変換することで、多様なデータフォーマット間で効果的な統一的表現学習が可能になるか？
• RQ2 スパース混合エキスパート（SMoE）フレームワークは、薬剤および疾患記述に記載された症状など、異なるモダリティ間で類似する情報パターンを効果的に同定・抽出できるか？
• RQ3 エキスパートベースの動的統合により、固定型またはアテンションベースの統合と比較して、モダリティ表現の予測性能が向上するか？
• RQ4 提案手法は、臨床試験の全3フェーズ（I、II、III）に一般化可能であり、一貫した性能向上を示せるか？
• RQ5 補助損失は、モダリティ固有の表現を精緻化する上でどのように寄与し、全体の予測精度向上に繋がるか？

主な発見

• LIFTEDは、臨床試験の全3フェーズ（I、II、III）において、最良の既存ベースラインモデルを顕著に上回る性能を達成する。
• LLMが生成する自然言語記述の活用により、モダリティ固有のエンコーダー設計を一切不要としつつ、異種データモダリティの有効な統合が可能になる。
• スパース混合エキスパート（SMoE）フレームワークは、モダリティ間で共有される情報パターンを効果的に同定・活用し、表現の一貫性とモデルの一般化性能を向上させる。
• MoEによる動的表現統合により、モデルは入力ごとにより情報量の多いモダリティに高い重みを自動的に割り当てることができ、予測精度が向上する。
• 補助損失は、モダリティ固有の表現の質を向上させる寄与を示し、これが全体の性能向上に反映されている。
• 本モデルは、再訓練なしに新たなモダリティへの拡張が可能な強力な頑健性とスケーラビリティを示す。