[논문 리뷰] Ensemble learning and iterative training (ELIT) machine learning: applications towards uncertainty quantification and automated experiment in atom-resolved microscopy

Ayana Ghosh, Bobby G. Sumpter외 3명|arXiv (Cornell University)|2021. 01. 21.

Advanced Electron Microscopy Techniques and Applications인용 수 5

한 줄 요약

이 논문은 원자 해상도 전자 현미경에서의 불확실성 정량화를 향상시키고 인간 간섭을 최소화하며 드리프트에 강건한 자동 특징 추출을 가능하게 하는 기계학습 프레임워크인 앙상블 학습 및 반복 학습(ELIT)을 소개한다. 앙상블 추론과 반복적 모델 개선을 조합함으로써 ELIT는 인간 간섭을 줄이고 다양한 촬영 조건에서도 높은 정확도를 유지하며 재학습 없이 실시간 실험 워크플로우를 지원한다.

ABSTRACT

Deep learning has emerged as a technique of choice for rapid feature extraction across imaging disciplines, allowing rapid conversion of the data streams to spatial or spatiotemporal arrays of features of interest. However, applications of deep learning in experimental domains are often limited by the out-of-distribution drift between the experiments, where the network trained for one set of imaging conditions becomes sub-optimal for different ones. This limitation is particularly stringent in the quest to have an automated experiment setting, where retraining or transfer learning becomes impractical due to the need for human intervention and associated latencies. Here we explore the reproducibility of deep learning for feature extraction in atom-resolved electron microscopy and introduce workflows based on ensemble learning and iterative training to greatly improve feature detection. This approach both allows incorporating uncertainty quantification into the deep learning analysis and also enables rapid automated experimental workflows where retraining of the network to compensate for out-of-distribution drift due to subtle change in imaging conditions is substituted for a human operator or programmatic selection of networks from the ensemble. This methodology can be further applied to machine learning workflows in other imaging areas including optical and chemical imaging.

연구 동기 및 목표

• 촬영 조건의 미세한 변화로 인해 성능이 저하되는 실험적 현미경을 위한 딥러닝에서의 분포 외부 드리프트 문제를 해결한다.
• 수동 재학습이나 하이퍼파라미터 튜닝이 필요 없도록 원자 해상도 현미경에서의 자동 실험 워크플로우를 가능하게 한다.
• 특징 탐지의 신뢰성과 해석 가능성을 향상시키기 위해 딥러닝 추론에 불확실성 정량화를 통합한다.
• 인간의 재학습이 필요 없이 다양한 실험 설정에서 성능을 유지하는 확장 가능한 적응형 기계학습 파이프라인을 개발한다.
• 기타 영상 모odal리티, 특히 광학 및 화학 영상에 적용 가능한 일반화 가능한 프레임워크를 수립한다.

제안 방법

• 예측 불확실성을 모델 출력의 분산을 통해 추정하기 위해 사전 학습된 딥 네트워크의 앙상블을 구성한다.
• 새로운 데이터 분포에서의 성능을 기반으로 앙상블에서 모델를 선택하고 재학습하는 방식으로 반복 학습을 구현한다.
• 불확실성 추정치를 기반으로 모델 선택 및 재학습 결정을 유도하여 인간 운영자에 대한 의존도를 낮춘다.
• 모델 평균화 및 불확실성 校정 기법을 적용하여 특징 탐지의 강건성과 신뢰성을 향상시킨다.
• 새로운 데이터가 들어올 경우 선택적 재학습을 통해 앙상블 멤버를 업데이트하는 피드백 루프를 설계하여 드리프트 상황에서도 성능을 유지한다.
• 앙상블 추론 파이프라인을 실시간 실험 워크플로우에 통합하여 현미경에서의 자동 의사결정 지원을 가능하게 한다.

실험 결과

연구 질문

• RQ1 실험적 현미경을 위한 딥러닝 파이프라인에 불확실성 정량화를 효과적으로 통합할 수 있는 방법은 무엇인가?
• RQ2 촬영 조건의 드리프트 상황에서 인간 간섭을 줄이기 위해 앙상블 기반 추론이 얼마나 효과적인가?
• RQ3 모든 재학습 없이도 앙상블의 반복 학습이 다양한 실험 조건에서 높은 정확도를 유지할 수 있는가?
• RQ4 자동 실험에서 지연 시간과 신뢰성 측면에서 ELIT 프레임워크는 표준 미세조정 또는 전이 학습보다 어떻게 비교되는가?
• RQ5 불확실성 인식 모델 선택이 원자 해상도 현미경에서의 특징 추출의 강건성과 재현 가능성에 미치는 영향은 무엇인가?

주요 결과

• ELIT 프레임워크는 앙상블에서의 자동 불확실성 유도 모델 선택을 통해 모델 재학습에 대한 인간 간섭을 크게 줄였다.
• 앙상블 기반의 불확실성 추정은 분포 외부 촬영 조건에서 특징 탐지의 신뢰성을 향상시켰다.
• 선택된 앙상블 멤버의 반복 학습은 최소한의 지연 시간으로 다양한 실험 파rameter에서 높은 특징 탐지 정확도를 유지했다.
• 이 방법은 원자 해상도 전자 현미경에서 실시간 자동 실험 워크플로우를 가능하게 하여 수동 재구성 없이 지속적인 데이터 분석을 지원한다.
• 프레임워크는 미세한 촬영 조건의 드리프트에 대해 강건성을 보이며, 동적인 실험 환경에서 표준 미세조정보다 뛰어난 성능을 보였다.
• 이러한 방법론은 최소한의 아키텍처 수정으로도 다른 영상 도메인, 특히 광학 및 화학 영상에 일반화 가능하다.