[論文レビュー] A roadmap for edge computing enabled automated multidimensional transmission electron microscopy

Debangshu Mukherjee, Kevin M. Roccapriore+9 more|arXiv (Cornell University)|Oct 5, 2022

Advanced Electron Microscopy Techniques and Applications被引用数 4

ひとこと要約

本論文は、局所的なエッジデバイスでハイパースペクトルSTEMデータを事前に処理し、その後にハイパフォーマンスコンピューティング（HPC）システムにオフロードすることで、リアルタイムで自動化された多次元透過電子顕微鏡（TEM）を可能にするエッジコンピューティングフレームワークを提案する。エッジハードウェア上でディープラーニング推論を実装し、標準化されたデータコンテナとデジタルツインを用いたプロバンス追跡を提唱するとともに、顕微鏡、エッジ、HPCシステムを統合するネットワーキングプロトコルを提示し、自律的かつデータ駆動型の実験を実現する。

ABSTRACT

The advent of modern, high-speed electron detectors has made the collection of multidimensional hyperspectral transmission electron microscopy datasets, such as 4D-STEM, a routine. However, many microscopists find such experiments daunting since such datasets' analysis, collection, long-term storage, and networking remain challenging. Some common issues are the large and unwieldy size of the said datasets, often running into several gigabytes, non-standardized data analysis routines, and a lack of clarity about the computing and network resources needed to utilize the electron microscope fully. However, the existing computing and networking bottlenecks introduce significant penalties in each step of these experiments, and thus, real-time analysis-driven automated experimentation for multidimensional TEM is exceptionally challenging. One solution is integrating microscopy with edge computing, where moderately powerful computational hardware performs the preliminary analysis before handing off the heavier computation to HPC systems. In this perspective, we trace the roots of computation in modern electron microscopy, demonstrate deep learning experiments running on an edge system, and discuss the networking requirements for tying together microscopes, edge computers, and HPC systems.

研究の動機と目的

• リアルタイム分析と自動化を妨げる大規模かつ取り扱いにくいハイパースペクトルTEMデータセット（例：4D-STEM）の取り扱いの課題に対処する。
• エッジコンピューティングとハイパフォーマンスコンピューティング（HPC）システムを統合することで、データ転送、ストレージ、分析のボトル neck を克服する。
• 検出器からエッジシステムへのデータストリーミングにより、オンライン圧縮と予備分析を実施することで、自動化され意思決定駆動型顕微鏡を実現する。
• 実時間センサデータとパrameterをミラーするデジタルツインを用いて、継続的なプロバンス追跡を確立する。
• 顕微鏡、エッジシステム、HPCを統合する包括的かつ相互運用可能なインfrastrucureを構築し、自律的かつ物理的知見に基づいた実験を可能にする。

提案手法

• GPU搭載のエッジサーバーなどのエッジハードウェアにディープラーニングモデルをデプロイし、ストリーミング中の4D-STEMデータに対してリアルタイム推論を実行する。
• HPCセンターへの送信前に、エッジシステムでオンラインデータ圧縮を実装し、帯域幅の使用量を削減する。
• 機械可読メタデータを備えたオープンスタンダードのデータコンテナ（例：USIDフォーマット）を採用し、相互運用性と再現性を確保する。
• 実時間センサデータ（例：レンズ電流、ホルダー状態など）を継続的に取り込むことで、電子顕微鏡のデジタルツインを構築し、実験条件のシミュレーションと検証を可能にする。
• 処理済みデータを用いて意思決定アルゴリズムを統合し、リアルタイムでの顕微鏡制御をガイドすることで、フィードバック駆動型実験を実現する。
• エッジ、顕微鏡、HPCシステム間で、同時に信頼性の高いデータ、意思決定、結果のストリーミングをサポートするネットワーキングプロトコルを設計する。

実験結果

リサーチクエスチョン

• RQ1 エッジコンピューティングは、大規模な4D-STEMデータセットの取得および分析において、どのように遅延と帯域幅要件を低減できるか？
• RQ2 長時間にわたるイン・サイト実験において、デジタルツインはデータプロバンスの確保とメタデータの不整合の検出にどのような役割を果たすか？
• RQ3 エッジデバイスでのリアルタイムデータ処理は、どのように自律的でフィードバック駆動型顕微鏡実験を可能にするか？
• RQ4 顕微鏡、エッジシステム、HPCリソースを統合する包括的なワークフローを実現するための、ネットワーキングおよびデータパイプラインアーキテクチャにはどのようなものが必要か？
• RQ5 標準化されたオープンデータコンテナとメタデータフォーマットは、自動化された電子顕微鏡における相互運用性と再現性をどのように向上させるか？

主な発見

• 4D-STEM解析のディープラーニング推論はエッジハードウェアで実現可能であり、HPCへのオフロード前にリアルタイムでの予備的データ処理が可能になる。
• 実時間センサデータを用いた顕微鏡の継続的デジタルツインモデリングにより、正確で動的なプロバンス追跡とメタデータの不具合検出が可能になる。
• エッジシステムでのオンラインデータ圧縮により、データ転送量が削減され、ハイパーフレーケージTEMワークフローにおけるネットワークおよびストレージのボトル neck が緩和される。
• エッジコンピューティングとHPCの統合により、リアルタイムデータ分析に基づく意思決定が駆動するスケーラブルで自律的な顕微鏡パイプラインが実現できる。
• 機械可読メタデータを備えた標準化されたデータコンテナ（例：USID）は、実験プラットフォーム間でのデータ相互運用性と再現性を顕著に向上させる。
• 提案されたアーキテクチャにより、全実験プロバンスと動的状態追跡を維持することで、予測的でベイズ情報に基づいた実験が可能になる。