[论文解读] CryoBench: Diverse and challenging datasets for the heterogeneity problem in cryo-EM

Minkyu Jeon, Rishwanth Raghu+7 more|arXiv (Cornell University)|Aug 10, 2024

Advanced Electron Microscopy Techniques and Applications被引用 11

一句话总结

CryoBench 提供五个合成的、真实-ground-truth 的 cryo-EM 数据集，捕捉构象和组成异质性，并附带评估异质重建方法的度量与基准。它分析了最先进的方法并引入新的评估标准。

ABSTRACT

Cryo-electron microscopy (cryo-EM) is a powerful technique for determining high-resolution 3D biomolecular structures from imaging data. Its unique ability to capture structural variability has spurred the development of heterogeneous reconstruction algorithms that can infer distributions of 3D structures from noisy, unlabeled imaging data. Despite the growing number of advanced methods, progress in the field is hindered by the lack of standardized benchmarks with ground truth information and reliable validation metrics. Here, we introduce CryoBench, a suite of datasets, metrics, and benchmarks for heterogeneous reconstruction in cryo-EM. CryoBench includes five datasets representing different sources of heterogeneity and degrees of difficulty. These include conformational heterogeneity generated from designed motions of antibody complexes or sampled from a molecular dynamics simulation, as well as compositional heterogeneity from mixtures of ribosome assembly states or 100 common complexes present in cells. We then analyze state-of-the-art heterogeneous reconstruction tools, including neural and non-neural methods, assess their sensitivity to noise, and propose new metrics for quantitative evaluation. We hope that CryoBench will be a foundational resource for accelerating algorithmic development and evaluation in the cryo-EM and machine learning communities. Project page: https://cryobench.cs.princeton.edu.

研究动机与目标

• 为 cryo-EM 的构象和组成异质性提供标准化的、真实-ground-truth 的基准。
• 实现对异质重建方法的定量与定性比较。
• 评估在不同数据源中对噪声、姿态/CTF 变化的鲁棒性。
• 提出嵌入质量、聚类以及体积重建性能的新度量。
• 提供数据集生成工具，促进未来在 cryo-EM 与机器学习领域的方法开发。

提出的方法

• 设计五个具有真实 ground-truth 构象与组成异质性的合成数据集（IgG-1D、IgG-RL、Spike-MD、Ribosembly、Tomotwin-100）。
• 模拟 cryo-EM 正向模型，生成具有已知姿态、构象和成像参数的图像。
• 在 CryoBench 数据集上评估七种固定姿态和三种 ab initio 异质重建方法。
• 引入嵌入与体积评估指标（邻域相似性、信息失衡、ARI/AMI、每构象 FSC、AUC-FSC）。
• 提供数据集生成和评估软件以及公开数据发布，以利于可重复性和扩展。
• 比较方法在不同数据集和噪声水平上的表现，以揭示当前方法的优点/局限。

Figure 1: Overview of CryoBench. (a) In cryo-EM, each image $X_{i}$ captures a molecule $V_{i}$ projected at an unknown pose $\phi_{i}$ . A latent variable $z_{i}$ models the conformational space $\mathcal{V}$ that describes the heterogeneity between molecules $\{V_{i}\}$ . (b) CryoBench includes 5

实验结果

研究问题

• RQ1 当代异质 cryo-EM 重建方法在不同来源的异质性（构象 vs 组成）以及不同噪声水平下的表现如何？
• RQ2 哪些度量最好地捕捉潜在空间的组织、解耦以及异质 cryo-EM 数据的重建质量？
• RQ3 真-ground-truth 合成基准能否实现公平的跨方法比较并推动无模型重建的改进？
• RQ4 哪些方法能够扩展到大型、复杂组装体和分子动力学推导的运动？
• RQ5 当前基准的局限性是什么，以及如何扩展以反映实际数据挑战？

主要发现

• CryoBench 数据集在异质性类型和噪声等级上暴露出方法性能差异。
• 嵌入-based 度量（邻域相似性、信息失衡）揭示方法在捕捉潜在结构和解耦异质性方面的能力。
• 每构象 FSC 提供构象估计与重建质量的联合度量，与定性观察一致。
• RECOVAR 往往在多个数据集上产生与地真实流形最一致的潜在空间结构，并具有较强的 FSC 性能。
• 无模型方法在大型、 diverse 或高复杂度数据集（如 Tomotwin-100、Spike-MD）上通常表现不佳，而固定姿态方法的成功度根据数据集而异。
• CryoBench 提供可扩展的、具有 ground-truth 的基准套件和工具，支持公平比较并引导未来在 cryo-EM 与 ML 的方法开发。

Figure 2: IgG-1D results. (a) Dataset design with 100 ground truth (G.T.) conformations producing a circular motion. (b) A representative volume for each method with the G.T. volume. (c) Latent embeddings visualized by UMAP and colored by the G.T. dihedral angle parameterizing the circular motion. (