[論文レビュー] Automated and Autonomous Experiment in Electron and Scanning Probe Microscopy

Sergei V. Kalinin, Maxim Ziatdinov+7 more|arXiv (Cornell University)|Mar 22, 2021

Force Microscopy Techniques and Applications参考文献 138被引用数 4

ひとこと要約

本論文は、電子線顕微鏡および走査プローブ顕微鏡における自動的・自律的実験のためのフレームワークを提案する。機械学習と人工知能を統合することで、撮影中の日常的作業の簡素化と意思決定の向上を実現する。ドメイン知識、人間とMLの協働、システムの限界を強調し、遅延を低減し、材料の特性評価における効率を向上させる、リアルタイムで高次の実験計画を可能にする。

ABSTRACT

Machine learning and artificial intelligence (ML/AI) are rapidly becoming an indispensable part of physics research, with domain applications ranging from theory and materials prediction to high-throughput data analysis. In parallel, the recent successes in applying ML/AI methods for autonomous systems from robotics through self-driving cars to organic and inorganic synthesis are generating enthusiasm for the potential of these techniques to enable automated and autonomous experiment (AE) in imaging. Here, we aim to analyze the major pathways towards AE in imaging methods with sequential image formation mechanisms, focusing on scanning probe microscopy (SPM) and (scanning) transmission electron microscopy ((S)TEM). We argue that automated experiments should necessarily be discussed in a broader context of the general domain knowledge that both informs the experiment and is increased as the result of the experiment. As such, this analysis should explore the human and ML/AI roles prior to and during the experiment, and consider the latencies, biases, and knowledge priors of the decision-making process. Similarly, such discussion should include the limitations of the existing imaging systems, including intrinsic latencies, non-idealities and drifts comprising both correctable and stochastic components. We further pose that the role of the AE in microscopy is not the exclusion of human operators (as is the case for autonomous driving), but rather automation of routine operations such as microscope tuning, etc., prior to the experiment, and conversion of low latency decision making processes on the time scale spanning from image acquisition to human-level high-order experiment planning.

研究の動機と目的

• 機械学習とAIを用いて、電子線顕微鏡および走査プローブ顕微鏡における自動的・自律的実験のフレームワークを開発すること。
• 自律的運用の文脈において、遅延、ドリフト、非理想性といった現在の画像化システムの限界を解消すること。
• 知識の事前情報、バイアス、リアルタイムフィードバックループを考慮し、人間の専門知識とML/AI意思決定を効果的に統合すること。
• 人間の時間スケールに準拠した高次の実験計画を可能にし、単なる自動化を越えて知的で適応可能な実験へと進化させること。
• 自律的実験を人間の操作者の完全な置換ではなく、日常的タスクの自動化と材料科学分野における発見の加速を目的としたツールとして位置づけること。

提案手法

• 撮影の前段階で、日常的顕微鏡調整およびキャリブレーション手順の自動化に機械学習とAIを活用する。
• 逐次的画像データ処理が可能なリアルタイム意思決定システムを統合し、実験実行中の適応的制御を可能にする。
• ドメイン知識と事前データが実験設計およびリアルタイム調整の両者を支援するフィードバックループとして実験をモデル化する。
• 内在的な遅延、ドリフト（補正可能および確率的）および測定の非理想性を含む、システム固有の制約を考慮する。
• 低遅延制御行動と高レベルの計画タスクを区別する階層的意思決定アーキテクチャを用いる。
• 知識の共進化に注目する：実験がモデルに影響を与え、モデルが将来の実験を指導致すことで、閉ループ学習システムを形成する。

実験結果

リサーチクエスチョン

• RQ1 機械学習とAIを走査プローブ顕微鏡および透過電子顕微鏡に効果的に統合し、自律的実験を可能にする方法は何か？
• RQ2 信頼性ある自律的運用を実現する上で、遅延、ドリフト、非理想性といった主要なシステムレベルの制限要因は何か？
• RQ3 実験プロセス中、人間の専門知識とML/AI意思決定をどのように意味的に統合できるか？
• RQ4 ドメイン知識は自律的実験設計およびリアルタイム適応にどのように役立つか？
• RQ5 自律的システムは、顕微鏡分野における人間レベルの推論に匹敵する高次の実験計画をどの程度実行できるか？

主な発見

• ML/AIシステムがドメイン知識とリアルタイムフィードバックメカニズムと統合されれば、顕微鏡分野における自律的実験は実現可能である。
• ドリフトや遅延といったシステムレベルの制約は、自律的システムの信頼性と性能に顕著な影響を及ぼし、明示的なモデル化が不可欠である。
• このフレームワークにより、手動によるチューニングから、自動的で知的な実験パrameter制御へのシフトが可能となり、人的介入が削減される。
• 自律的システムは、人間の時間スケールに準拠した高次の実験計画を実行でき、効率性と発見速度が向上する。
• データがモデルを精錬し、モデルが将来の実験を指導致すという、知識と実験の共進化は、長期的な発見を強化する閉ループシステムを形成する。
• 人間のオペレータは、実行者としてではなく、実験戦略のキュレーターおよび設計者として不可欠であり、AIは日常的かつリアルタイムの意思決定を担う。