[論文レビュー] Multi-Objective GFlowNets

Moksh Jain, Sharath Chandra Raparthy+5 more|arXiv (Cornell University)|Oct 23, 2022

Advanced Multi-Objective Optimization Algorithms被引用数 4

ひとこと要約

本稿では、多目的最適化における多様でパレート最適な解の生成を目的とした新規フレームワークであるMulti-Objective GFlowNets (MOGFNs) を提案する。2つの変種を提案する：MOGFN-PCはスカラライゼーションを用いてサブ問題をモデル化する報酬条件付きGFlowNetsであり、MOGFN-ALは獲得関数を用いたアクティブラーニングループを採用する。本手法は合成的・分子的・タンパク質設計タスクにおいて、パレート性能が優れており、候補の多様性が著しく向上している。

ABSTRACT

We study the problem of generating diverse candidates in the context of Multi-Objective Optimization. In many applications of machine learning such as drug discovery and material design, the goal is to generate candidates which simultaneously optimize a set of potentially conflicting objectives. Moreover, these objectives are often imperfect evaluations of some underlying property of interest, making it important to generate diverse candidates to have multiple options for expensive downstream evaluations. We propose Multi-Objective GFlowNets (MOGFNs), a novel method for generating diverse Pareto optimal solutions, based on GFlowNets. We introduce two variants of MOGFNs: MOGFN-PC, which models a family of independent sub-problems defined by a scalarization function, with reward-conditional GFlowNets, and MOGFN-AL, which solves a sequence of sub-problems defined by an acquisition function in an active learning loop. Our experiments on wide variety of synthetic and benchmark tasks demonstrate advantages of the proposed methods in terms of the Pareto performance and importantly, improved candidate diversity, which is the main contribution of this work.

研究の動機と目的

• 既存の多目的最適化(MOO)手法がパレート最適性にのみ注目し、多様な候補の必要性を考慮しないという点を是正する。
• 報酬に比例してサンプリングするGFlowNetsの本質的多様性を活用し、MOOにおける多様で高品質な解を生成する。
• 目的関数が不完全な代理指標であり、下流の評価が高コストとなる科学的発見タスクにおいて、効率的かつ効果的な候補生成を可能にする。
• 2つの新規変種、MOGFN-PC（スカラライズドサブプロブレム用）およびMOGFN-AL（アクティブラーニングベースのMOO用）を開発する。
• 実験的に、MOGFNsが多様性およびパレート性能の両面で、多様なベンチマークおよび実世界のタスクにおいて向上することを検証する。

提案手法

• MOGFN-PCは、多目的問題のスカラライゼーションにより導かれる単目的サブプロブレムの家族を、報酬条件付きGFlowNetsでモデル化する。
• MOGFN-ALは、アクティブラーニングループ内での単目的サブプロブレムの逐次的定式化を採用し、NEHVIを獲得関数として用いて候補生成を誘導する。
• GFlowNetsのポリシー・ネットワークは、1D畝込みエンコーダの潜在空間にマッピングされたTransformerエンコーダとして実装され、配列の位置とアミノ酸トークンを選択して変異を生成する。ログスは重複する配列を防ぐためにマスクされる。
• 報酬指数βを用い、訓練を安定化させるために時間経過とともに冷却する。獲得関数の値が報酬信号として使用される。
• 訓練中に探索と活用のバランスを取るために、一様ランダムポリシー混合δを採用する。
• サーヴィレートモデルは、1D畝込みエンコーダの潜在空間にI型共変動カーネル（ICM）を備えたマルチタスクGPであり、標準的なディープラーニング技術と早期停止を用いて訓練される。

実験結果

リサーチクエスチョン

• RQ1 GFlowNetsは、多様でパレート最適な解を生成するために、多目的最適化に効果的に拡張可能か？
• RQ2 スカラライゼーションと報酬条件付きGFlowNetsに基づくMOGFN-PCは、既存のMOOベースラインと比較して、多様性およびパレート性能の両面で優れているか？
• RQ3 NEHVI獲得関数を用いたアクティブラーニングループを採用するMOGFN-ALは、高コストな科学的発見タスクにおけるサンプル効率および多様性を向上させられるか？
• RQ4 β、δ、最大変異数といった主要ハイパーパrameterが、生成候補の性能および多様性に与える影響はいかほどか？
• RQ5 目的関数が不完全な代理指標である場合、候補の多様性が下流評価の成功確率をどの程度向上させるか？

主な発見

• MOGFN-PCは、合成的および分子生成タスクにおいて、多様でパレート最適な候補を効果的に生成し、報酬条件付きGFlowNetsのこの文脈における初の実証的検証を達成した。
• 蛍光タンパク質設計におけるアクティブラーニング設定では、MOGFN-ALがベースライン手法と比較して、サンプル効率および多様性の両面で顕著な向上を達成した。
• パレートフロントにおいて優れた性能を示し、ハイパーボリューム改善が高く、複数の目的間のトレードオフのカバレッジも良好であった。
• アブレーションスタディにより、報酬指数βとポリシー混合δが探索と活用のバランスを決定づけ、多様性および収束性に直接的な影響を与えることが確認された。
• 一様ランダムポリシー混合δの使用により、特に初期訓練フェーズにおいて性能を損なわず、多様性が向上した。
• 全ベンチマークタスク（配列および分子生成を含む）において、MOGFNsは多様性指標およびパレートフロント品質の両面で強力なベースラインを上回った。