[논문 리뷰] CryoBench: Diverse and challenging datasets for the heterogeneity problem in cryo-EM

Minkyu Jeon, Rishwanth Raghu외 7명|arXiv (Cornell University)|2024. 08. 10.

Advanced Electron Microscopy Techniques and Applications인용 수 11

한 줄 요약

CryoBench는 구성적 및 조성적 이질성을 포착하는 다섯 개의 합성 데이터 세트와 이질적 재구성 방법을 평가하기 위한 지표 및 벤치마크를 제시합니다. 이는 최첨단 방법을 분석하고 새로운 평가 기준을 도입합니다.

ABSTRACT

Cryo-electron microscopy (cryo-EM) is a powerful technique for determining high-resolution 3D biomolecular structures from imaging data. Its unique ability to capture structural variability has spurred the development of heterogeneous reconstruction algorithms that can infer distributions of 3D structures from noisy, unlabeled imaging data. Despite the growing number of advanced methods, progress in the field is hindered by the lack of standardized benchmarks with ground truth information and reliable validation metrics. Here, we introduce CryoBench, a suite of datasets, metrics, and benchmarks for heterogeneous reconstruction in cryo-EM. CryoBench includes five datasets representing different sources of heterogeneity and degrees of difficulty. These include conformational heterogeneity generated from designed motions of antibody complexes or sampled from a molecular dynamics simulation, as well as compositional heterogeneity from mixtures of ribosome assembly states or 100 common complexes present in cells. We then analyze state-of-the-art heterogeneous reconstruction tools, including neural and non-neural methods, assess their sensitivity to noise, and propose new metrics for quantitative evaluation. We hope that CryoBench will be a foundational resource for accelerating algorithmic development and evaluation in the cryo-EM and machine learning communities. Project page: https://cryobench.cs.princeton.edu.

연구 동기 및 목표

• 크라이오-EM에서 구성적 및 조성적 이질성에 대한 표준화된 실제 정답 벤치마크를 제공합니다.
• 이질적 재구성 방법의 정량적 및 정성적 비교를 가능하게 합니다.
• 다양한 데이터 소스에서 노이즈 및 포즈/CTF 변동에 대한 강건성을 평가합니다.
• 임베딩 품질, 클러스터링 및 체적 재구성 성능에 대한 새로운 지표를 제안합니다.
• 크라이오-EM 및 ML의 향후 방법 개발을 촉진하기 위한 데이터세트 생성 도구를 제공합니다.

제안 방법

• 구현 가능한 다섯 개의 합성 데이터세트를 설계하여 실제 구성 및 조성 이질성을 보유합니다(IgG-1D, IgG-RL, Spike-MD, Ribosembly, Tomotwin-100).
• known pose, conformation, imaging parameters를 가진 이미지를 생성하기 위해 크라이오-EM 전달 모델을 시뮬레이션합니다.
• CryoBench 데이터세트에서 고정 포즈의 일곱 가지 및 자율적(ab initio) 이질적 재구성 방법 세 가지를 평가합니다.
• 임베딩 및 체적 평가 지표( Neighborhood Similarity, Information Imbalance, ARI/AMI, Per-Conformation FSC, AUC-FSC)를 도입합니다.
• 재현성 및 확장을 위한 데이터세트 생성 및 평가 소프트웨어와 공개 데이터 공개를 제공합니다.
• 데이터세트와 노이즈 수준에 걸쳐 방법을 비교하여 현재 접근 방식의 강점과 한계를 밝힙니다.

Figure 1: Overview of CryoBench. (a) In cryo-EM, each image $X_{i}$ captures a molecule $V_{i}$ projected at an unknown pose $\phi_{i}$ . A latent variable $z_{i}$ models the conformational space $\mathcal{V}$ that describes the heterogeneity between molecules $\{V_{i}\}$ . (b) CryoBench includes 5

실험 결과

연구 질문

• RQ1 다양한 이질성 원천(구성적 대 조성적)과 다양한 노이즈 수준에서 현대의 이질적 크라이오-EM 재구성 방법은 어떻게 수행되나요?
• RQ2 잠재 공간 구성, 해리 및 재구성 품질을 포착하는 가장 적합한 지표는 무엇인가요?
• RQ3 실제 데이터 challenge를 반영하기 위해 공정한 교차 방법 비교를 가능하게 하고 자율적 재구성의 개선을 촉진할 수 있는ground-truth 합성 벤치마크가 있나요?
• RQ4 큰 규모의 복합 어셈블리 및 분자 동역학 기반 모션에 어떤 방법이 확장되나요?
• RQ5 현 벤치마크의 한계는 무엇이며 현실 데이터의 도전 과제를 반영하도록 어떻게 확장할 수 있나요?

주요 결과

• CryoBench 데이터세트는 이질성 유형 및 노이즈 레짐에 따른 방법 성능 차이를 드러냅니다.
• 임베딩 기반 지표(Neighborhood Similarity, Information Imbalance)가 방법이 잠재 구조를 포착하고 이질성을 해석하는 정도를 드러냅니다.
• Per-Conformation FSC는 구성 추정 및 재구성 품질의 공동 지표를 제공하여 정성적 관찰과 일치합니다.
• RECOVAR는 종종 ground-truth 매니폴드와 일치하는 잠재 공간 구조를 만들고 여러 데이터세트에서 강력한 FSC 성능을 보이는 경향이 있습니다.
• 자율적(ab initio) 방법은 대규모, 다양하거나 고복잡 데이터세트(Tomotwin-100, Spike-MD)에서 일반적으로 어려움을 겪는 반면, 고정 포즈 방법은 데이터세트에 따라 다르게 성공합니다.
• CryoBench는 확장 가능한 실제 정답 벤치마크 세트와 도구를 제공하여 공정한 비교를 가능하게 하고 크라이오-EM 및 ML의 미래 방법 개발을 안내합니다.

Figure 2: IgG-1D results. (a) Dataset design with 100 ground truth (G.T.) conformations producing a circular motion. (b) A representative volume for each method with the G.T. volume. (c) Latent embeddings visualized by UMAP and colored by the G.T. dihedral angle parameterizing the circular motion. (