[論文レビュー] Multi-Fidelity Active Learning with GFlowNets

Álex Hernández-García, Nikita Saxena+3 more|arXiv (Cornell University)|Jun 20, 2023

Machine Learning and Algorithms被引用数 4

ひとこと要約

本稿では、複数の評価精度（ファシリティ）を持つオラクル（評価源）の間で、分子候補とその最適な評価精度を同時にサンプリングするための新規なマルチファシリティ・アクティブラーニングフレームワーク、MF-GFNを提案する。GFlowNetsを活用することで、コストと精度の異なる複数のオラクルを統合的に活用し、高次元の探索空間を能動的に効率的に探索する。単一ファシリティおよび既存のマルチファシリティベースラインと比較して、MF-GFNは分子発見タスクにおいて優れたコストパフォーマンスと多様性を達成する。

ABSTRACT

In the last decades, the capacity to generate large amounts of data in science and engineering applications has been growing steadily. Meanwhile, machine learning has progressed to become a suitable tool to process and utilise the available data. Nonetheless, many relevant scientific and engineering problems present challenges where current machine learning methods cannot yet efficiently leverage the available data and resources. For example, in scientific discovery, we are often faced with the problem of exploring very large, structured and high-dimensional spaces. Moreover, the high fidelity, black-box objective function is often very expensive to evaluate. Progress in machine learning methods that can efficiently tackle such challenges would help accelerate currently crucial areas such as drug and materials discovery. In this paper, we propose a multi-fidelity active learning algorithm with GFlowNets as a sampler, to efficiently discover diverse, high-scoring candidates where multiple approximations of the black-box function are available at lower fidelity and cost. Our evaluation on molecular discovery tasks shows that multi-fidelity active learning with GFlowNets can discover high-scoring candidates at a fraction of the budget of its single-fidelity counterpart while maintaining diversity, unlike RL-based alternatives. These results open new avenues for multi-fidelity active learning to accelerate scientific discovery and engineering design.

研究の動機と目的

• 高価な高精度評価を伴う大規模かつ高次元の化学的探索空間を効率的に探索する課題に対処すること。
• 科学的発見において、精度とコストが異なる複数のオラクルに対して、計算リソースを適応的に割り当てる手法を開発すること。
• 単一ファシリティのアクティブラーニングを改善し、分子候補とその最適な評価ファシリティを同時にサンプリング可能にする。
• DNAアンタイプター設計や抗菌ペプチド発見などの分子生成タスクにおける多様性とコスト効率を向上させること。
• 合成的および実世界の科学的タスクにおける実験的評価を通じて、GFlowNetsがマルチファシリティ設定でどのように有効に機能するかを示すこと。

提案手法

• 関数値の事後分布 $ p(f_m(x) \mid x, m, \mathcal{D}) $ を推定するためのマルチファシリティなサーロゲートモデル（例：ガウス過程）を採用する。
• 探索を導くために、サーロゲートモデルを用いて最大値エントロピー探索（MES）という獲得関数を計算する。
• 獲得関数の値を報酬信号として用い、候補分子 $ x $ とその対応するファシリティレベル $ m $ を同時にサンプリングするGFlowNetを訓練する。
• フローネット内の軌道の確率をモデル化することで、確率的方策を学習し、多様でスコアの高い候補を生成する。
• 訓練済みのGFlowNetからサンプルを生成し、上位 $ B $ 個のタプル $ (x, m) $ を選別して、対応するオラクルで評価する。
• このプロセスを繰り返し、新たな評価結果をデータセット $ \mathcal{D} $ に更新し、サーロゲートモデルおよびGFlowNetを再訓練する。

実験結果

リサーチクエスチョン

• RQ1 GFlowNetsは、科学的発見のためのマルチファシリティアクティブラーニングに効果的に拡張可能か？
• RQ2 候補とファシリティの同時サンプリングは、単一ファシリティ手法と比較して、コスト効率と多様性をどのように向上させるか？
• RQ3 オラクルのコスト比を変化させた場合、GFlowNetsを用いたマルチファシリティアクティブラーニングの性能にどのような影響を与えるか？
• RQ4 MF-GFNは、既存のマルチファシリティベイズ最適化および強化学習ベースラインと比較して、サンプル効率と多様性の面で優れているか？
• RQ5 低精度オラクルのコストが高精度オラクルに近づいても、MF-GFNは高い性能を維持できるか？

主な発見

• MF-GFNは、DNAアンタイプター生成や分子設計を含むすべてのテストタスクにおいて、単一ファシリティGFlowNet（SF-GFN）およびマルチファシリティPPO（MF-PPO）を上回るコストパフォーマンスを達成した。
• 低精度オラクルのコスト比が1:2（すなわち $ \lambda_1 = 1 $、$ \lambda_M = 20 $）であっても、MF-GFNはSF-GFNおよびMF-PPOに顕著な性能優位性を保った。
• 標準的な分子生成タスクにおける多様性指標で測定したところ、MF-GFNは上位スコアの分子の品質を損なわずに、生成候補の多様性を高めた。
• DNAアンタイプタータスクでは、MF-GFNはベースライン手法よりも少ない高精度評価回数で、より高いスコアの配列を一貫して発見した。
• 実験結果から、オラクル間のコスト差が大きくなるほど、MF-GFNとベースラインとの性能差が拡大することが示され、低コスト・高精度環境における本手法の優位性が裏付けられた。
• アブレーションスタディの結果、GFlowNetによる候補とファシリティの同時サンプリングが、本手法の成功の主な要因であることが確認された。マルチファシリティサーロゲートの使用だけでは、同程度の効果は得られなかった。