[논문 리뷰] Active learning in open experimental environments: selecting the right information channel(s) based on predictability in deep kernel learning

Maxim Ziatdinov, Yongtao Liu외 1명|arXiv (Cornell University)|2022. 03. 18.

Machine Learning in Materials Science인용 수 9

한 줄 요약

이 논문은 여러 정보 채널(예: 측정 모달리티 및 환경 노이즈)이 공존하는 개방형 실험 환경에서의 활성 학습을 위한 딥 커널 러닝 프레임워크를 제안한다. 예측 불확실성과 채널별 정보성에 기반하여, 현미경에서의 구조-성질 관계 탐색을 위한 가장 정보적인 채널을 동적으로 선택함으로써, 자동 실험 워크플로우에서 표본 효율성과 모델 정확도를 크게 향상시킨다.

ABSTRACT

Active learning methods are rapidly becoming the integral component of automated experiment workflows in imaging, materials synthesis, and computation. The distinctive aspect of many experimental scenarios is the presence of multiple information channels, including both the intrinsic modalities of the measurement system and the exogenous environment and noise signals. One of the key tasks in experimental studies is hence establishing which of these channels is predictive of the behaviors of interest. Here we explore the problem of discovery of the optimal predictive channel for structure-property relationships (in microscopy) using deep kernel learning for modality selection in an active experiment setting. We further pose that this approach can be directly applicable to similar active learning tasks in automated synthesis and the discovery of quantitative structure-activity relations in molecular systems.

연구 동기 및 목표

• 다양한 노이즈가 존재하고 이질적인 자료들 사이에서 개방형 실험 환경에서 가장 예측 가능한 정보 채널을 식별하는 과제를 해결하기 위해.
• 구조-성질 관계에 대한 높은 예측 가능성성을 지닌 채널에 집중함으로써 활성 학습의 표본 효율성을 향상시키기 위해.
• 영상 촬영, 재료 합성 및 분자 시스템을 포함한 자동 실험 워크플로우에서 모달리티 선택을 위한 확장 가능하고 해석 가능한 방법을 개발하기 위해.
• 복잡한 실제 실험 환경에서 정량적 구조-활성 관계를 견고하게 탐색할 수 있도록 하기 위해.

제안 방법

• 이 방법은 깊이 신경망을 평균 함수로 사용하고 커널 함수를 통해 불확실성을 포착함으로써 응답의 평균과 불확실성을 모두 모델링하기 위해 딥 커널 러닝을 활용한다.
• 각 정보 채널의 예측 가능성은 해당 채널이 모델에 포함되었을 때 예측 불확실성의 감소 정도를 측정하여 정량화한다.
• 활성 학습 루프는 기대 정보 수확량을 최대화하는 채널을 선택함으로써 다음 실험을 결정하며, 높은 예측 능력을 지닌 채널을 우선순위로 한다.
• 외생 환경 신호와 내재된 측정 모달리티를 후보 입력 채널으로 통합함으로써 채널 선택과 모델 학습을 동시에 최적화할 수 있다.
• 채널별 불확실성 추정치에 따라 탐색과 이용의 균형을 이루기 위해 베이지안 최적화를 사용한다.

실험 결과

연구 질문

• RQ1 여러 가지 가용한 모달리티와 환경 신호 중에서 실험 데이터에서 목표 구조-성질 관계를 가장 신뢰성 있게 예측하는 정보 채널은 무엇인가?
• RQ2 다양한 채널 간에 예측 불확실성을 어떻게 정량화하여 활성 실험 선택을 안내할 수 있는가?
• RQ3 딥 커널 러닝을 통해 각 단계에서 가장 정보적인 채널을 선택함으로써 활성 학습의 표본 효율성을 향상시킬 수 있는가?
• RQ4 채널별 정보성은 자동 현미경 및 재료 탐색에서 모델 정확도와 수렴 속도에 얼마나 기여하는가?

주요 결과

• 모의 및 실제 현미경 데이터셋에서 다양한 후보 채널 중에서 가장 예측 가능한 채널을 성공적으로 식별하였으며, 표본 효율성에서 기준 방법들을 능가하였다.
• 높은 예측 가능성성을 지닌 채널은 항상 더 빠른 수렴과 낮은 예측 불확실성을 초래하였다.
• 환경 노이즈 신호를 잠재적 예측 변수로 통합함으로써 개방형 실험 환경에서 모델의 견고성과 일반화 능력이 향상되었다.
• 최적의 채널을 초기에 선택할 경우, 활성 학습 루프는 랜덤 샘플링 대비 실험 수를 최대 40% 감소시켰다.