[논문 리뷰] Multi-Fidelity Active Learning with GFlowNets

Álex Hernández-García, Nikita Saxena외 3명|arXiv (Cornell University)|2023. 06. 20.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 다양한 비용과 정확도를 가진 여러 오라클에서 분자 후보 및 최적의 평가 정밀도를 동시에 샘플링할 수 있도록 GFlowNets를 활용하는 새로운 다중 정밀도 주도 학습 프레임워크인 MF-GFN을 제안한다. 고차원 탐색 공간을 효율적으로 탐색할 수 있도록 확률적 정책을 훈련시킴으로써, 단일 정밀도 및 기존의 다중 정밀도 기반 기준 대비 더 뛰어난 비용 효율성과 다양성을 확보한다.

ABSTRACT

In the last decades, the capacity to generate large amounts of data in science and engineering applications has been growing steadily. Meanwhile, machine learning has progressed to become a suitable tool to process and utilise the available data. Nonetheless, many relevant scientific and engineering problems present challenges where current machine learning methods cannot yet efficiently leverage the available data and resources. For example, in scientific discovery, we are often faced with the problem of exploring very large, structured and high-dimensional spaces. Moreover, the high fidelity, black-box objective function is often very expensive to evaluate. Progress in machine learning methods that can efficiently tackle such challenges would help accelerate currently crucial areas such as drug and materials discovery. In this paper, we propose a multi-fidelity active learning algorithm with GFlowNets as a sampler, to efficiently discover diverse, high-scoring candidates where multiple approximations of the black-box function are available at lower fidelity and cost. Our evaluation on molecular discovery tasks shows that multi-fidelity active learning with GFlowNets can discover high-scoring candidates at a fraction of the budget of its single-fidelity counterpart while maintaining diversity, unlike RL-based alternatives. These results open new avenues for multi-fidelity active learning to accelerate scientific discovery and engineering design.

연구 동기 및 목표

• 고비용이지만 정밀도가 높은 평가가 필요한 대규모 고차원 화학적 공간을 효율적으로 탐색하는 데 도전하는 것.
• 과학적 발견에서 다양한 정밀도와 비용을 가진 여러 오라클 간에 계산 자원을 적응적으로 할당하는 방법을 개발하는 것.
• 단일 정밀도 주도 학습을 개선하기 위해 분자 후보 및 그에 상응하는 최적의 평가 정밀도를 동시에 샘플링할 수 있도록 하는 것.
• DNA 아편트롭 생성 및 항균 펩타이드 발견과 같은 분자 생성 과제에서 다양성과 비용 효율성을 향상시키는 것.
• 합성 및 실제 과학적 과제에서의 실험적 평가를 통해 GFlowNets가 다중 정밀도 환경에서 어떻게 유의미한 성능을 발휘하는지 확인하는 것.

제안 방법

• 다양한 정밀도에서 함수 값에 대한 사후 분포 $ p(f_m(x) \mid x, m, \mathcal{D}) $ 를 추정하기 위해 다중 정밀도 대체 모델(예: 가우시안 프로세스)을 사용한다.
• 탐색을 이끄는 데 사용하기 위해 대체 모델을 기반으로 구한 할당 함수—특히 최대값 엔트로피 검색(MES)—을 계산한다.
• 할당 함수 값들을 보상 신호로 사용하여, 분자 후보 $ x $ 와 그에 상응하는 정밀도 수준 $ m $ 를 동시에 샘플링할 수 있도록 GFlowNet을 훈련시킨다.
• 유량 네트워크 내 경로의 확률을 모델링함으로써, GFlowNet은 확률적 정책을 학습하여 다양하고 높은 점수를 기록한 후보를 생성한다.
• 훈련된 GFlowNet에서 샘플을 생성하고, 상위 $ B $ 개의 튜플 $ (x, m) $ 를 선택하여 해당 오라클에서 평가한다.
• 이 과정은 새로운 평가 결과를 데이터셋 $ \mathcal{D} $ 에 반영하고, 대체 모델 및 GFlowNet 모델을 재훈련함으로써 반복적으로 업데이트된다.

실험 결과

연구 질문

• RQ1 GFlowNets는 과학적 발견을 위한 다중 정밀도 주도 학습에 효과적으로 확장될 수 있는가?
• RQ2 후보 및 정밀도를 동시에 샘플링하는 방식이 단일 정밀도 방법 대비 비용 효율성과 다양성 향상에 어떻게 기여하는가?
• RQ3 오라클의 비용 비율이 다양할 경우, GFlowNets 기반 다중 정밀도 주도 학습의 성능에 어떤 영향을 미치는가?
• RQ4 MF-GFN은 기존의 다중 정밀도 베이지안 최적화 및 강화 학습 기준 대비 샘플 효율성과 다양성 측면에서 어떻게 비교되는가?
• RQ5 저정밀도 오라클의 비용이 고정밀도 오라클에 가까워지는 경우에도 MF-GFN은 높은 성능을 유지할 수 있는가?

주요 결과

• MF-GFN은 DNA 아편트롭 생성 및 분자 설계를 포함한 모든 테스트 과제에서 단일 정밀도 GFlowNet(SF-GFN) 및 다중 정밀도 PPO(MF-PPO)보다 비용 효율성에서 뛰어나다.
• 저정밀도 오라클의 비용 비율이 1:2(즉, $ \lambda_1 = 1 $, $ \lambda_M = 20 $)일 경우조차도, MF-GFN은 SF-GFN 및 MF-PPO보다 뚜렷한 성능 우위를 유지한다.
• 표준 분자 생성 과제에서 사용되는 다양성 측정 지표로 측정했을 때, MF-GFN은 상위 점수를 기록한 분자의 품질을 훼손하지 않으면서도 더 높은 다양성을 확보한다.
• DNA 아편트롭 과제에서, MF-GFN은 기준 방법보다 더 낮은 고정밀도 평가 횟수로 더 높은 점수를 기록한 시퀀스를 지속적으로 발견한다.
• 실험 결과에 따르면, 오라클 간 비용 격차가 커질수록 MF-GFN과 기준 방법 간의 성능 격차가 커지며, 이는 본 방법이 저비용 고정밀도 환경에서의 강점을 입증한다.
• 제거 분석 결과, GFlowNet을 통한 후보 및 정밀도의 동시 샘플링이 성공의 핵심 요소임을 확인하였으며, 다중 정밀도 대체 모델 사용 자체가 성능 향상의 주요 원인는 아님을 확인하였다.