[論文レビュー] PerturBench: Benchmarking Machine Learning Models for Cellular Perturbation Analysis

Yan Wu, Esther Wershof+8 more|arXiv (Cornell University)|Aug 20, 2024

Cell Image Analysis Techniques被引用数 11

ひとこと要約

PerturBench は、モジュラーなベンチマーキングフレームワークと多様なデータセット、および単一細胞データにおける撹乱応答モデルを評価する標準化された指標セットを提供します。その結果、単純なモデルが高度なアーキテクチャよりも優れる場合があることが示され、ランクベース指標の重要性が浮き彫りになります。

ABSTRACT

We introduce a comprehensive framework for modeling single cell transcriptomic responses to perturbations, aimed at standardizing benchmarking in this rapidly evolving field. Our approach includes a modular and user-friendly model development and evaluation platform, a collection of diverse perturbational datasets, and a set of metrics designed to fairly compare models and dissect their performance. Through extensive evaluation of both published and baseline models across diverse datasets, we highlight the limitations of widely used models, such as mode collapse. We also demonstrate the importance of rank metrics which complement traditional model fit measures, such as RMSE, for validating model effectiveness. Notably, our results show that while no single model architecture clearly outperforms others, simpler architectures are generally competitive and scale well with larger datasets. Overall, this benchmarking exercise sets new standards for model evaluation, supports robust model development, and furthers the use of these models to simulate genetic and chemical screens for therapeutic discovery.

研究の動機と目的

• 撹乱応答モデリングにおける標準的なベンチマーキングを動機づけ、データセットや指標間の一貫性のなさに対処する。
• 単一細胞データにおける撹乱効果のモデル開発と評価のためのモジュラーなコードベースを提供する。
• 多様なデータセットをキュレーションし、実世界の制約（スケーリング、データ不均衡）下でモデルを評価する生物学的に関連するタスクを定義する。
• ランクベースの指標を含む包括的な指標スイートを定義し、モデルを公正に比較する。
• 既存モデルの核心コンポーネントを再現・評価し、それらの長所と限界を特定する。

提案手法

• データセット、モデル、評価 API を含むモジュラーな PerturBench コードベースを導入する（GitHub リポジトリ）。
• 実世界の課題を反映するよう、共変量転送とコンボ予測タスクを含む3つのデータセットをキュレーションする。
• 複数のモデル（CPA*、Biolord、SAMS-VAE）とベースライン（Linear、Latent Additive、Decoder、Covariatesを用いたDecoder）を実装・ベンチマークする。
• マッチングと分離戦略を用いてフレームした反実仮想撹乱予測を使用し、核心コンポーネントを比較する。
• RMSE、LogFCのコサイン類似度、そして新規のランクベース指標を含む評価指標を定義し、撹乱の順序付けを評価する。
• RMSEとランクベース損失（RMSE + 0.1 × rank）を用いたハイパーパラメータ最適化を実施し、頑健な構成を選択する。

実験結果

リサーチクエスチョン

• RQ1 多様なデータセットにおける共変量転送とコンボ予測タスクで、さまざまな撹乱応答モデルはどのように性能を発揮するか？
• RQ2 単純なモデルとトレーニング設定は、撹乱予測において複雑な分離（disentanglement）や敵対的アプローチを上回るか？
• RQ3 データ規模とデータ不均衡は、撹乱予測におけるモデルの性能とランキング能力にどう影響するか？
• RQ4 インシリコ撹乱スクリーニングの実用的価値を最もよく捉える評価指標は何か（撹乱のランキングを含む）？

主な発見

• 単純なモデル、特に scGPT 埋め込みを用いた潜在加法モデルは、いくつかの指標でより複雑なモデルよりも優れていることが多い。
• いくつかのモデルはモード崩壊または事後崩壊を示すことがあり、ランク指標は従来の指標では捉えられない順序の崩れを明らかにする。
• 共変量と撹乱を用いるデコーダーのみのモデルは競争力のある性能を達成でき、アーキテクチャと帰納的バイアスの役割を強調している。
• 訓練データが増えるほどモデル性能は一般に向上するが、CPA* は特定のタスクで高い分散と限られたランク利得を示す。
• データ不均衡は複数のモデルの性能を低下させ、scGPT 埋め込みは不均衡に対して緩衝材となる。
• コンボ予測全体では、線形モデルが設定によっては同等または上回る性能を示す一方、他のアーキテクチャは非線形の利得を示す。