[論文レビュー] CryoBench: Diverse and challenging datasets for the heterogeneity problem in cryo-EM

Minkyu Jeon, Rishwanth Raghu+7 more|arXiv (Cornell University)|Aug 10, 2024

Advanced Electron Microscopy Techniques and Applications被引用数 11

ひとこと要約

CryoBench は、 conformational および compositional heterogeneity を捉える五つの合成の ground-truth cryo-EM データセットと、それらを用いた異質性再構成法を評価する指標とベンチマークを提供します。最新の手法を分析し、新しい評価基準を導入します。

ABSTRACT

Cryo-electron microscopy (cryo-EM) is a powerful technique for determining high-resolution 3D biomolecular structures from imaging data. Its unique ability to capture structural variability has spurred the development of heterogeneous reconstruction algorithms that can infer distributions of 3D structures from noisy, unlabeled imaging data. Despite the growing number of advanced methods, progress in the field is hindered by the lack of standardized benchmarks with ground truth information and reliable validation metrics. Here, we introduce CryoBench, a suite of datasets, metrics, and benchmarks for heterogeneous reconstruction in cryo-EM. CryoBench includes five datasets representing different sources of heterogeneity and degrees of difficulty. These include conformational heterogeneity generated from designed motions of antibody complexes or sampled from a molecular dynamics simulation, as well as compositional heterogeneity from mixtures of ribosome assembly states or 100 common complexes present in cells. We then analyze state-of-the-art heterogeneous reconstruction tools, including neural and non-neural methods, assess their sensitivity to noise, and propose new metrics for quantitative evaluation. We hope that CryoBench will be a foundational resource for accelerating algorithmic development and evaluation in the cryo-EM and machine learning communities. Project page: https://cryobench.cs.princeton.edu.

研究の動機と目的

• cryo-EM における conformational および compositional heterogeneity の標準化された ground-truth ベンチマークを提供する。
• 異質性再構成法の定量的および定性的比較を可能にする。
• さまざまなデータソースに対するノイズおよび姿勢/CTF のロバスト性を評価する。
• 埋め込み品質、クラスタリング、および体積再構成性能の新しい指標を提案する。
• 将来の cryo-EM および ML における手法開発を促進するデータセット生成ツールを提供する。

提案手法

• ground-truth の conformational および compositional heterogeneity を有する五つの合成データセットを設計する（IgG-1D, IgG-RL, Spike-MD, Ribosembly, Tomotwin-100）。
• known pose、conformation、 imaging parameters を持つ画像を生成する cryo-EM フォワードモデルをシミュレートする。
• CryoBench データセット上で七つの固定姿勢再構成法と三つの ab initio heterogeneity 再構成法を評価する。
• 埋め込みおよび体積評価指標（Neighborhood Similarity、Information Imbalance、ARI/AMI、Per-Conformation FSC、AUC-FSC）を導入する。
• 再現性と拡張性のためにデータセット生成・評価ソフトウェアおよび公開データリリースを提供する。
• データセットとノイズレベルを横断して手法を比較し、現在のアプローチの強みと限界を明らかにする。

Figure 1: Overview of CryoBench. (a) In cryo-EM, each image $X_{i}$ captures a molecule $V_{i}$ projected at an unknown pose $\phi_{i}$ . A latent variable $z_{i}$ models the conformational space $\mathcal{V}$ that describes the heterogeneity between molecules $\{V_{i}\}$ . (b) CryoBench includes 5

実験結果

リサーチクエスチョン

• RQ1 多様なソースの異質性（conformational と compositional）およびノイズレベルの変化に対して、現代の異質性 cryo-EM 再構成法はどのように機能するか？
• RQ2 潜在空間の構造化、分離、および再構成品質を最もよく捉える指標は何か、異質性 cryo-EM データに対して？
• RQ3 ground-truth の合成ベンチマークは公正な横断的比較を可能にし ab initio 再構成の改善を促せるか？
• RQ4 大規模で複雑なアセンブリおよび分子動力学由来の運動に対してどの手法がスケールするか？
• RQ5 現在のベンチマークの限界は何であり、実データの課題を反映するようにどのように拡張できるか？

主な発見

• CryoBench データセットは、異質性のタイプとノイズレジーム間で手法の性能の差を露呈する。
• 埋め込みベースの指標（Neighborhood Similarity、Information Imbalance）は、手法が潜在構造をどの程度捉え、異質性をどの程度分離しているかを示す。
• Per-Conformation FSC は、構 conformation 推定と再構成品質の結合指標を提供し、定性的観察と一致する。
• RECOVAR は多くのデータセットで ground-truth manifold と整合性が高く、FSC の性能も強い場合が多い。
• ab initio 法は大規模・多様・高い複雑さのデータセット（例：Tomotwin-100、Spike-MD）で一般に難しく、固定姿勢法はデータセットに応じて成功の度合いが異なる。
• CryoBench はスケーラブルな ground-truth ベンチマークスイートと、公正な比較と将来の手法開発を導くツールを提供する。

Figure 2: IgG-1D results. (a) Dataset design with 100 ground truth (G.T.) conformations producing a circular motion. (b) A representative volume for each method with the G.T. volume. (c) Latent embeddings visualized by UMAP and colored by the G.T. dihedral angle parameterizing the circular motion. (