[논문 리뷰] A dynamic Bayesian optimized active recommender system for curiosity-driven Human-in-the-loop automated experiments

Arpan Biswas, Yongtao Liu외 7명|arXiv (Cornell University)|2023. 04. 05.

Machine Learning in Materials Science인용 수 6

한 줄 요약

이 논문은 인간이 참여하는 피드백을 통합하여 자동화된 재료 과학 워크플로우에서 실험 조건을 실시간으로 최적화하는 동적 베이지안 최적화 활성 추천 시스템(BOARS)을 제안한다. 원자력 현미경 실험 중 인간이 주석한 선호도를 활용함으로써, BOARS는 사전 정의된 목표 최적화보다도 대칭적인 피에조응답 히스테리시스 루프—잠재적 표면 이하 결함을 나타내는 것—을 더 효과적으로 식별하였다. 이는 실험적 발견에 적응형이고 인간이 보완하는 활성 학습의 가치를 보여준다.

ABSTRACT

Optimization of experimental materials synthesis and characterization through active learning methods has been growing over the last decade, with examples ranging from measurements of diffraction on combinatorial alloys at synchrotrons, to searches through chemical space with automated synthesis robots for perovskites. In virtually all cases, the target property of interest for optimization is defined apriori with limited human feedback during operation. In contrast, here we present the development of a new type of human in the loop experimental workflow, via a Bayesian optimized active recommender system (BOARS), to shape targets on the fly, employing human feedback. We showcase examples of this framework applied to pre-acquired piezoresponse force spectroscopy of a ferroelectric thin film, and then implement this in real time on an atomic force microscope, where the optimization proceeds to find symmetric piezoresponse amplitude hysteresis loops. It is found that such features appear more affected by subsurface defects than the local domain structure. This work shows the utility of human-augmented machine learning approaches for curiosity-driven exploration of systems across experimental domains. The analysis reported here is summarized in Colab Notebook for the purpose of tutorial and application to other data: https://github.com/arpanbiswas52/varTBO

연구 동기 및 목표

• 실시간 인간 피드백을 활용해 최적화 목표를 동적으로 조정하는 인간이 참여하는 실험 프레임워크를 개발한다.
• 실험적 특성의 급격한 변화에 대응하여 적응하는 방식으로 자동화된 재료 합성 및 특성 분석에서 호기심 기반 탐색을 가능하게 한다.
• 표면 이하 결함과 같은 미세한 물성 특성을 더 잘 탐지하기 위해 대칭적인 피에조응답 히스테리시스 루프를 최적화한다.
• 실시간 원자력 현미경 실험에서 인간 피드백을 통합한 베이지안 활성 추천 시스템의 실현 가능성을 입증한다.
• 다양한 실험 데이터에 적용 가능한 재사용 가능하고 튜토리얼 준비가 된 프레임워크를 제공한다.

제안 방법

• 시스템은 인간 피드백을 기반으로 기대 개선도를 최대화하는 실험 조건을 반복적으로 선택하는 베이지안 최적화 프레임워크를 사용한다.
• 사용자가 관측된 피에조응답 히스테리시스 루프가 대칭인지 여부를 평가함으로써, 획득 함수를 업데이트한다.
• 이 방법은 실시간으로 최적화 목표를 조정하여 사전 정의된 특성에서 인간이 식별한 새로운 관심 특성으로 초점을 이동시킨다.
• 프레임워크는 사전 확보된 피에조응답 힘 스펙트로스코피(PFM) 데이터에 적용된 후, 원자력 현미경에서 실시간으로 구동된다.
• 확률 모델은 반응 표면의 불확실성을 추적하고, 새로운 또는 정보가 풍부한 특성의 잠재력이 높은 영역으로 탐색을 이끈다.
• 다중 손잡이 슬롯머신 전략을 활용해 인간의 대칭성 판단에 기반해 탐색과 이용의 균형을 유지한다.

실험 결과

연구 질문

• RQ1 인간이 참여하는 피드백이 자동 실험 중 최적화 목표를 동적으로 재구성할 수 있는가?
• RQ2 피에조응답 히스테리시스의 대칭성에 대한 인간의 선호도 통합이 표면 이하 결함 탐지에 어떻게 기여하는가?
• RQ3 베이지안 활성 추천 시스템이 사전 정의된 목표가 아닌 호기심 기반의 급격히 나타나는 특성에 얼마나 잘 적응할 수 있는가?
• RQ4 복잡한 물성 행동을 식별할 때 고정된 목표 최적화 대비 인간 피드백을 사용함으로써 얻는 성능 향상은 어느 정도인가?
• RQ5 제안된 프레임워크는 PFM 이외의 다른 실험 영역으로 일반화 및 적용 가능할 수 있는가?

주요 결과

• BOARS 시스템은 표면 이하 결함과 관련된 대칭적인 피에조응답 히스테리시스 루프를 고정된 목표 최적화보다 더 효과적으로 식별하였다.
• 인간 피드백은 기존의 사전 정의된 최적화 기준으로는 포착되지 않은 미세한 물성 특성을 식별하는 데 있어 뚜렷한 기여를 하였다.
• 최적화 목표의 동적 적응은 정보가 풍부한 실험적 매개변수 공간 영역으로의 수렴 속도를 높였다.
• 원자력 현미경에서 실시간 운영에서도 프레임워크가 뛰어난 성능을 보이며 실용적 구현 가능성은 입증되었다.
• 시작 시점에 명시적으로 목표로 삼지 않은 관심 있는 특성을 발견하는 데서 기존 기반 방법보다 뛰어난 성능을 보였다.
• Colab 노트북 구현은 프레임워크의 재현 가능성을 보장하고 다른 데이터셋 및 실험 시스템으로의 확장도 가능하게 하였다.