[論文レビュー] Learning to automate cryo-electron microscopy data collection with Ptolemy

Paul T. Kim, Alex J. Noble+2 more|arXiv (Cornell University)|Dec 1, 2021

Advanced Electron Microscopy Techniques and Applications被引用数 9

ひとこと要約

本論文では、コンピュータビジョンモデル—混合モデル、畳み込みニューラルネットワーク（CNN）、U-Net—を活用して、低倍率および中倍率の画像における注目領域を検出・分類することで、クロロエレクトロン顕微鏡（cryo-EM）のデータ収集を自動化するオープンソースでエンドツーエンドのパイプライン「Ptolemy」を提示する。本システムは、実際の操作者によるラベル付けが施された大規模な内部データセットで学習されており、異なる電子顕微鏡やセッション間で一般化可能で、人的な干渉を著しく低減しながらも、高倍率での収集に適した最適な部位を高い正確性で特定する。

ABSTRACT

Over the past decade, cryogenic electron microscopy (cryo-EM) has emerged as a primary method for determining near-native, near-atomic resolution 3D structures of biological macromolecules. In order to meet increasing demand for cryo-EM, automated methods to improve throughput and efficiency while lowering costs are needed. Currently, all high-magnification cryo-EM data collection softwares require human input and manual tuning of parameters. Expert operators must navigate low- and medium-magnification images to find good high-magnification collection locations. Automating this is non-trivial: the images suffer from low signal-to-noise ratio and are affected by a range of experimental parameters that can differ for each collection session. Here, we use various computer vision algorithms, including mixture models, convolutional neural networks, and U-Nets to develop the first pipeline to automate low- and medium-magnification targeting. Learned models in this pipeline are trained on a large internal dataset of images from real world cryo-EM data collection sessions, labeled with locations that were selected by operators. Using these models, we show that we can effectively detect and classify regions of interest in low- and medium-magnification images, and can generalize to unseen sessions, as well as to images captured using different microscopes from external facilities. We expect our open-source pipeline, Ptolemy, will be both immediately useful as a tool for automation of cryo-EM data collection, and serve as a foundation for future advanced methods for efficient and automated cryo-EM microscopy.

研究の動機と目的

• 低スループット・高コストのクロロエレクトロン顕微鏡（cryo-EM）に対応するため、低倍率および中倍率の画像における時間のかかる専門的依存のターゲティングプロセスを自動化すること。
• クロロエレクトロン顕微鏡（cryo-EM）のセッション間で変動する信号対雑音比と実験条件の変化に起因する課題を克服すること。
• 手動でのチューニングや操作者の専門知識に依存しない、一般化可能なオープンソースのパイプラインを開発すること。
• 異なる電子顕微鏡や施設間で一貫性があり、繰り返し可能でスケーラブルなデータ収集を実現すること。

提案手法

• パイプラインは、混合モデル、畳み込みニューラルネットワーク（CNN）、U-Netアーキテクチャを組み合わせて、低倍率および中倍率のクロロエレクトロン顕微鏡（cryo-EM）画像を分析する。
• 本物のクロロエレクトロン顕微鏡（cryo-EM）セッションの大量な内部データセットを用いて学習され、操作者が選択した位置に基づいて注目領域を識別・分類する。
• 異なる電子顕微鏡や画像条件でも性能を発揮できるように、トランスファー学習およびドメイン一般化技術を採用する。
• 複数段階の推論パイプラインが画像を段階的に処理し、粒子の検出と画像品質・焦点の分類を実施して、高倍率でのターゲティングを支援する。
• 不確実性推定と信頼度スコアリングを統合し、信頼度が低い予測を人的なレビュー用にフラグとしてマークする。
• パイプライン全体は、拡張性と既存のクロロエレクトロン顕微鏡（cryo-EM）ワークフローへの統合を想定して設計されたオープンソースフレームワーク「Ptolemy」として実装されている。

実験結果

リサーチクエスチョン

• RQ1 低信号対雑音比の下でも、深層学習モデルは低倍率および中倍率のクロロエレクトロン顕微鏡（cryo-EM）画像において注目領域を効果的に検出・分類できるか？
• RQ2 学習時に見られなかった異なるクロロエレクトロン顕微鏡（cryo-EM）の電子顕微鏡や実験セッションに、学習済みのターゲティングパイプラインはどの程度一般化できるか？
• RQ3 自動ターゲティングは、クロロエレクトロン顕微鏡（cryo-EM）のデータ収集において、人的な干渉をどの程度低減できるか？
• RQ4 異なる画像パrameterを持つ外部施設の画像に適用した場合でも、パイプラインは高い正確性と信頼性を維持できるか？
• RQ5 畳み込みニューラルネットワーク（CNN）、U-Net、混合モデルなどの複数のコンピュータビジョンモデルを統合することで、実世界のクロロエレクトロン顕微鏡（cryo-EM）環境における耐障害性とパフォーマンスがどの程度向上するか？

主な発見

• Ptolemyパイプラインは、低信号対雑音比の下でも、低倍率および中倍率のクロロエレクトロン顕微鏡（cryo-EM）画像において注目領域を高い正確性で検出・分類する。
• 本システムは、トレーニング時に見られなかったクロロエレクトロン顕微鏡（cryo-EM）セッションや、外部施設の異なる電子顕微鏡で撮影された画像に対しても、効果的に一般化する。
• 操作者がラベル付けしたトレーニングデータにより、モデルは画像パラメーターや機器タイプの変動に依存しない強固な特徴を学習する。
• パイプラインは、手動でのチューニングや操作者の干渉を著しく低減し、スループットとスケーラビリティを大幅に向上させる。
• Ptolemyのオープンソースリリースにより、今後の自動的で効率的かつ再現可能なクロロエレクトロン顕微鏡（cryo-EM）データ収集分野の研究基盤が提供される。