[論文レビュー] Ensemble learning and iterative training (ELIT) machine learning: applications towards uncertainty quantification and automated experiment in atom-resolved microscopy

Ayana Ghosh, Bobby G. Sumpter+3 more|arXiv (Cornell University)|Jan 21, 2021

Advanced Electron Microscopy Techniques and Applications被引用数 5

ひとこと要約

この論文では、不確実性の定量化を向上させるとともに、再訓練を必要とせず、ドリフトに強い特徴抽出を実現する機械学習フレームワークであるアンサンブル学習と反復的訓練（ELIT）を紹介する。アンサンブル推論と反復的モデル最適化を組み合わせることで、人的な介入を低減し、さまざまな画像化条件においても高い精度を維持するとともに、再トレーニングを伴わずにリアルタイムの実験ワークフローをサポートする。

ABSTRACT

Deep learning has emerged as a technique of choice for rapid feature extraction across imaging disciplines, allowing rapid conversion of the data streams to spatial or spatiotemporal arrays of features of interest. However, applications of deep learning in experimental domains are often limited by the out-of-distribution drift between the experiments, where the network trained for one set of imaging conditions becomes sub-optimal for different ones. This limitation is particularly stringent in the quest to have an automated experiment setting, where retraining or transfer learning becomes impractical due to the need for human intervention and associated latencies. Here we explore the reproducibility of deep learning for feature extraction in atom-resolved electron microscopy and introduce workflows based on ensemble learning and iterative training to greatly improve feature detection. This approach both allows incorporating uncertainty quantification into the deep learning analysis and also enables rapid automated experimental workflows where retraining of the network to compensate for out-of-distribution drift due to subtle change in imaging conditions is substituted for a human operator or programmatic selection of networks from the ensemble. This methodology can be further applied to machine learning workflows in other imaging areas including optical and chemical imaging.

研究の動機と目的

• 画像化条件のわずかな変化によってモデル性能が低下する実験的画像処理におけるディープラーニングの分布外ドリフトの課題に対処すること。
• 手動での再トレーニングやハイパーパrameterチューニングが不要となるように、原子解像度電子線 microscopy における自動化された実験ワークフローを実現すること。
• 特徴検出の信頼性と解釈可能性を向上させるために、不確実性の定量化をディープラーニング推論に統合すること。
• 人為的な再トレーニングなしに多様な実験設定においても性能を維持できるスケーラブルで適応的な機械学習パイプラインを開発すること。
• 光学的および化学的イメージングを含む他の画像モodalities に一般化可能なフレームワークを確立すること。

提案手法

• 予め訓練済みのディープニューラルネットワークのアンサンブルを構築し、モデル出力の分散を用いて予測の不確実性を推定する。
• 新しいデータ分布における性能に基づいてアンサンブル内のモデルを選別し、再トレーニングする反復的トレーニングを実装する。
• 不確実性推定値を活用してモデル選択および再トレーニング意思決定を自動化し、人的オペレーターへの依存を低減する。
• モデル平均化と不確実性キャリブレーション技術を適用して、特徴検出の頑健性と信頼性を向上させる。
• 新しいデータが到着すると、アンサンブルメンバーの選択的再トレーニングをトリガーとするフィードバックループを設計し、ドリフトに伴う性能低下を防止する。
• アンサンブル推論パイプラインをリアルタイムの実験ワークフローに統合し、顕微鏡における自動意思決定を支援する。

実験結果

リサーチクエスチョン

• RQ1 実験的顕微鏡におけるディープラーニングパイプラインに不確実性定量化を効果的に統合する方法は何か？
• RQ2 画像化条件のドリフト下で、人的介入を最小限に抑えるためにアンサンブルベースの推論がどれほど再トレーニングの必要性を削減できるか？
• RQ3 完全な再トレーニングなしに、選択されたアンサンブルメンバーの反復的トレーニングが多様な実験条件で高い精度を維持できるか？
• RQ4 自動実験における遅延と信頼性の観点から、ELITフレームワークは標準的なファインチューニングやトランスファーラーニングと比べてどの程度優れているか？
• RQ5 不確実性を考慮したモデル選択が、原子解像度顕微鏡における特徴抽出の頑健性と再現可能性に与える影響は何か？

主な発見

• ELITフレームワークは、アンサンブルからの不確実性誘導モデル選択を可能にすることで、モデル再トレーニングにおける人的介入を顕著に低減した。
• アンサンブルベースの不確実性推定は、分布外の画像化条件下でも特徴検出の信頼性を向上させた。
• 選択的アンサンブルメンバーの反復的トレーニングにより、変動する実験パrameterにおいても高い特徴検出精度を維持し、遅延を最小限に抑えた。
• 本手法により、再設定なしに継続的なデータ分析が可能なリアルタイムで自動化された実験ワークフローが、原子解像度電子線顕微鏡で実現された。
• フレームワークは微細な画像化条件のドリフトに対しても頑健であり、動的環境下での標準的ファインチューニングを上回る性能を示した。
• 本手法は一般化可能であり、最小限のアーキテクチャ変更で光学的および化学的イメージングなどの他の画像分野にも応用可能である。