[논문 리뷰] Learning to automate cryo-electron microscopy data collection with Ptolemy

Paul T. Kim, Alex J. Noble외 2명|arXiv (Cornell University)|2021. 12. 01.

Advanced Electron Microscopy Techniques and Applications인용 수 9

한 줄 요약

이 논문은 컴퓨터 비전 모델—혼합 모델, 컨volution 신경망, U-Net을 활용하여 저해상도 및 중간 해상도 이미지에서 관심 영역을 탐지하고 분류함으로써, 크로이-전자현미경 데이터 수집을 자동화하는 오픈소스 종단 간 전처리 파이프라인인 Ptolemy를 제시한다. 운영자 레이블이 부여된 대규모 내부 데이터셋으로 훈련된 시스템은 다양한 현미경과 세션 간에 일반화되며, 수동 간섭을 크게 줄이고 고해상도 수집 위치를 정확하게 타겟팅함으로써 높은 정확도를 유지한다.

ABSTRACT

Over the past decade, cryogenic electron microscopy (cryo-EM) has emerged as a primary method for determining near-native, near-atomic resolution 3D structures of biological macromolecules. In order to meet increasing demand for cryo-EM, automated methods to improve throughput and efficiency while lowering costs are needed. Currently, all high-magnification cryo-EM data collection softwares require human input and manual tuning of parameters. Expert operators must navigate low- and medium-magnification images to find good high-magnification collection locations. Automating this is non-trivial: the images suffer from low signal-to-noise ratio and are affected by a range of experimental parameters that can differ for each collection session. Here, we use various computer vision algorithms, including mixture models, convolutional neural networks, and U-Nets to develop the first pipeline to automate low- and medium-magnification targeting. Learned models in this pipeline are trained on a large internal dataset of images from real world cryo-EM data collection sessions, labeled with locations that were selected by operators. Using these models, we show that we can effectively detect and classify regions of interest in low- and medium-magnification images, and can generalize to unseen sessions, as well as to images captured using different microscopes from external facilities. We expect our open-source pipeline, Ptolemy, will be both immediately useful as a tool for automation of cryo-EM data collection, and serve as a foundation for future advanced methods for efficient and automated cryo-EM microscopy.

연구 동기 및 목표

• 저해상도 및 중간 해상도 영상에서의 전문가 의존적인 타겟팅 과정이 시간이 많이 소요되는 문제를 해결하고, 고속도, 저비용의 크로이-EM을 실현하기 위해 자동화된 접근을 제안한다.
• 크로이-EM 세션 간 신호 대 잡음비가 낮고 조건이 다양함으로 인해 발생하는 과제를 극복한다.
• 수동 튜닝과 운영자 전문성에 의존하지 않는 일반화 가능한 오픈소스 파이프라인을 개발한다.
• 다양한 현미경과 시설 간 일관성 있고 반복 가능하며 확장 가능한 데이터 수집을 가능하게 한다.

제안 방법

• 파이프라인은 저해상도 및 중간 해상도 크로이-EM 이미지를 분석하기 위해 혼합 모델, 컨volution 신경망(CNNs), U-Net 아키텍처의 조합을 사용한다.
• 실제 크로이-EM 세션의 대규모 내부 데이터셋으로 훈련된 모델은 운영자가 선택한 위치를 바탕으로 관심 영역을 식별하고 분류한다.
• 이식성 및 도메인 일반화 기법을 활용해 다양한 현미경과 이미징 조건에서의 성능을 보장한다.
• 다단계 추론 파이프라인은 이미지를 순차적으로 처리하여 입자 탐지 및 이미지 품질과 초점 상태 분류를 수행해 고해상도 타겟팅을 안내한다.
• 불확실성 추정 및 신뢰도 점수를 통합하여 낮은 신뢰도 예측을 인간 검토 대상으로 표시한다.
• 전체 파이프라인은 확장성과 기존 크로이-EM 워크플로우에의 통합을 고려해 설계된 오픈소스 프레임워크인 Ptolemy로 구현된다.

실험 결과

연구 질문

• RQ1 낮은 신호 대 잡음비 조건에서도 딥러닝 모델이 저해상도 및 중간 해상도 크로이-EM 이미지에서 관심 영역을 효과적으로 탐지하고 분류할 수 있는가?
• RQ2 학습 중에 볼 수 없었던 다양한 크로이-EM 현미경과 실험 세션에 대해 학습된 타겟팅 파이프라인이 얼마나 잘 일반화되는가?
• RQ3 자동 타겟팅이 크로이-EM 데이터 수집 과정에서 수동 운영자 간섭을 얼마나 줄일 수 있는가?
• RQ4 다른 이미징 파rameter를 가진 외부 시설의 이미지에 적용했을 때 파이프라인이 높은 정확도와 신뢰성을 유지할 수 있는가?
• RQ5 예를 들어 CNNs, U-Nets, 혼합 모델 등의 다양한 컴퓨터 비전 모델을 통합함으로써 실세계 크로이-EM 환경에서의 강건성과 성능이 어떻게 향상되는가?

주요 결과

• Ptolemy 파이프라인은 낮은 신호 대 잡음비 조건에서도 저해상도 및 중간 해상도 크로이-EM 이미지에서 관심 영역을 높은 정확도로 탐지하고 분류한다.
• 시스템은 훈련 중에 볼 수 없었던 크로이-EM 세션과 외부 시설의 다른 현미경에서 촬영된 이미지에 대해 효과적으로 일반화된다.
• 운영자 레이블이 부여된 훈련 데이터는 이미징 파rameter 및 기기 유형의 변동에 영향을 받지 않는 강력한 특징을 학습하는 데 기여한다.
• 파이프라인은 수동 튜닝과 운영자 간섭의 필요성을 크게 줄여 처리량과 확장성을 크게 향상시킨다.
• Ptolemy의 오픈소스 배포는 향후 자동화되고 효율적이며 재현 가능한 크로이-EM 데이터 수집 연구의 기반을 마련한다.