[논문 리뷰] AutoOED: Automated Optimal Experiment Design Platform

Yunsheng Tian, Mina Konaković Luković외 3명|arXiv (Cornell University)|2021. 04. 13.

Advanced Multi-Objective Optimization Algorithms참고 문헌 14인용 수 7

한 줄 요약

AutoOED는 최신 베이지안 최적화 기법을 사용한 자동 다중목표 최적 실험 설계를 위한 오픈소스이자 GUI 기반 플랫폼입니다. 이를 통해 데이터 및 시간 제약 조건이 있는 환경에서 파레토 최적 해를 신속하게 탐색할 수 있으며, 순차적 및 배치 평가, 분산 협업, 파이썬 기반 사용자 정의 알고리즘의 모듈러 통합을 지원합니다.

ABSTRACT

We present AutoOED, an Optimal Experiment Design platform powered with automated machine learning to accelerate the discovery of optimal solutions. The platform solves multi-objective optimization problems in time- and data-efficient manner by automatically guiding the design of experiments to be evaluated. To automate the optimization process, we implement several multi-objective Bayesian optimization algorithms with state-of-the-art performance. AutoOED is open-source and written in Python. The codebase is modular, facilitating extensions and tailoring the code, serving as a testbed for machine learning researchers to easily develop and evaluate their own multi-objective Bayesian optimization algorithms. An intuitive graphical user interface (GUI) is provided to visualize and guide the experiments for users with little or no experience with coding, machine learning, or optimization. Furthermore, a distributed system is integrated to enable parallelized experimental evaluations by independent workers in remote locations. The platform is available at https://autooed.org.

연구 동기 및 목표

• 과학 및 공학 분야에서 비용이 많이 들고 블랙박스인 다중목표 최적화 문제를 해결하는 데 도전하는 것.
• 자동 실험 설계를 통해 데이터 부족 환경에서도 효율적으로 파레토 최적 해를 탐색할 수 있도록 하는 것.
• 프로그래밍 경험이 없는 사용자도 코딩 없이 복잡한 최적화 작업을 쉽게 수행할 수 있도록 접근성 있고 사용자 友好的 인터페이스를 제공하는 것.
• 중앙 집중식 데이터베이스와 역할 기반 접근 제어를 활용해 원격 팀 간 분산 및 협업 워크플로우를 지원하는 것.
• 모듈러하고 확장 가능한 소스 코드 기반을 통해 새로운 다중목표 베이지안 최적화 알고리즘의 연구 및 개발을 촉진하는 것.

제안 방법

• 다중목표 베이지안 최적화(MOBO) 기반의 모듈러 파이프라인을 구현하며, 서rogate 모델, 획득 함수, 파레토 집합 해법기, 선택 전략 등 구성 요소를 분리 구현함.
• DGEMO, TSEMO, USeMO, ParEGO, NSGA-II, MOEA/D 등 최신 MOBO 알고리즘을 통합하여 다양한 최적화 요구 사항을 충족함.
• 순차적 및 배치 평가를 모두 지원하며, 평가 시간이 다양할 경우를 대비해 동기 및 이방식 배치 처리를 제공함.
• MVC 아키텍처를 기반으로 한 Tkinter 기반 GUI를 제공하여 최적화 진행 상황, 설계 공간, 성능 트레이드오프를 실시간으로 시각화함.
• 플랫폼과 연결된 사용자 정의 평가 스크립트를 통해 물리적 실험 및 시뮬레이션과의 통합을 가능하게 함.
• 중앙 집중식 데이터베이스를 사용해 최적화 상태를 다수의 사용자 간 동기화하는 분산 팀 버전을 구축함. 사용자 역할(예: 과학자, 관리자, 기술자)에 따라 접근 권한을 제어함.

실험 결과

연구 질문

• RQ1 기계학습 및 프로그래밍에 경험이 없는 사용자들이 다중목표 최적화를 어떻게 쉽게 접근할 수 있을까?
• RQ2 실제 실험 설계 환경에서 데이터 효율성이 중요한 상황에서 최신 MOBO 알고리즘이 얼마나 뛰어난 성능을 보일 수 있을까?
• RQ3 다양한 사용자가 참여하는 협업 최적화 워크플로우에서 비동기적 실험 평가를 효과적으로 지원하는 방법은 무엇일까?
• RQ4 모듈러하고 오픈소스 기반의 플랫폼이 새로운 MOBO 알고리즘의 개발 및 벤치마킹을 얼마나 빠르게 촉진할 수 있을까?
• RQ5 통합된 플랫폼이 복잡한 다중목표 설계 문제에서 시뮬레이션과 물리적 실험을 효과적으로 연결할 수 있을까?

주요 결과

• AutoOED는 오직 수십 번의 실험 평가만으로도 파레토 프론트에 신속하게 수렴함으로써, 데이터가 부족한 환경에서 시간과 비용을 크게 절감함.
• 플랫폼의 비동기 배치 평가 모드는 작업자 간 실험 소요 시간의 격차가 클 경우 효율성을 향상시킴.
• GUI를 통해 프로그래밍 경험이 없는 사용자도 실시간으로 최적화 프로세스를 구성하고 모니터링하며 지도할 수 있음.
• 모듈러 아키텍처 덕분에 서rogate 모델, 획득 함수, 해법기 등을 즉시 교체할 수 있어 알고리즘 연구 및 비교 테스트에 유리함.
• 분산 팀 버전은 지리적으로 산재한 사용자 간에 보안이 강화되고 역할 기반으로 협업이 가능하게 하여, 다수 사용자 참여의 R&D 환경에서의 확장성을 향상시킴.
• AutoOED는 물질 과학, 화학, 로봇공학, 의약품 분야 등 실제 문제에 성공적으로 적용되었으며, 공개 예제 및 사례 연구를 통해 이를 입증함.