[논문 리뷰] Multi-Objective GFlowNets

Moksh Jain, Sharath Chandra Raparthy외 5명|arXiv (Cornell University)|2022. 10. 23.

Advanced Multi-Objective Optimization Algorithms인용 수 4

한 줄 요약

이 논문은 다목적 최적화에서 다양하고 파레토 최적 해를 생성하기 위한 새로운 프레임워크인 다목적 GFlowNets(MOGFNs)를 소개한다. 두 가지 변종을 제안한다: MOGFN-PC는 스칼라화를 통해 유도된 단일목표 하위 문제를 모델링하기 위해 보상 조건부 GFlowNets를 사용하고, MOGFN-AL은 할당 함수를 사용하는 활성 학습 루프를 활용한다. 이 방법은 합성, 분자 설계 및 단백질 설계 작업에서 뛰어난 파레토 성능과 상당히 향상된 후보자 다양성을 달성한다.

ABSTRACT

We study the problem of generating diverse candidates in the context of Multi-Objective Optimization. In many applications of machine learning such as drug discovery and material design, the goal is to generate candidates which simultaneously optimize a set of potentially conflicting objectives. Moreover, these objectives are often imperfect evaluations of some underlying property of interest, making it important to generate diverse candidates to have multiple options for expensive downstream evaluations. We propose Multi-Objective GFlowNets (MOGFNs), a novel method for generating diverse Pareto optimal solutions, based on GFlowNets. We introduce two variants of MOGFNs: MOGFN-PC, which models a family of independent sub-problems defined by a scalarization function, with reward-conditional GFlowNets, and MOGFN-AL, which solves a sequence of sub-problems defined by an acquisition function in an active learning loop. Our experiments on wide variety of synthetic and benchmark tasks demonstrate advantages of the proposed methods in terms of the Pareto performance and importantly, improved candidate diversity, which is the main contribution of this work.

연구 동기 및 목표

• 기존의 다목적 최적화(MOO) 방법들이 다양성의 缺실을 보이며 단지 파레토 최적성에만 초점을 맞추고 있기 때문에, 이를 해결하고자 한다.
• GFlowNets의 본질적 다양성—보상 비례로 후보를 샘플링하는 것—을 활용하여 MOO에서 다양하고 고질적인 해를 생성하고자 한다.
• 목적이 불완전한 대체 지표이며, 후행 평가가 비용이 많이 들기 때문에 과학적 발견 과제에서 효율적이고 효과적인 후보 생성을 가능하게 하고자 한다.
• 두 가지 새로운 변종인 MOGFN-PC(스칼라화된 하위 문제를 위한 것)와 MOGFN-AL(활성 학습 기반 MOO를 위한 것)을 개발하고자 한다.
• 실증적으로 MOGFNs가 다양한 벤치마크 및 실제 과제에서 파레토 성능과 다양성 양면에서 향상됨을 검증하고자 한다.

제안 방법

• MOGFN-PC는 다목적 문제의 스칼라화를 통해 유도된 단일목표 하위 문제의 가족을 보상 조건부 GFlowNets로 모델링한다.
• MOGFN-AL은 활성 학습 루프 내에서 단일목표 하위 문제의 시퀀스로 MOO를 설정하며, 후보 생성을 안내하기 위해 NEHVI를 할당 함수로 사용한다.
• GFlowNets의 정책 네트워크는 트랜스포머 인코더로 구현되어 시퀀스의 위치와 아미노산 토큰을 선택하여 돌연변이를 생성하며, 중복된 시퀀스를 방지하기 위해 로짓을 마스킹한다.
• 훈련을 안정화시키기 위해 보상 지수 β를 사용하고 시간이 지남에 따라 점차 낮춘다. 할당 함수 값이 보상 신호로 사용된다.
• 훈련 중 탐색과 이용의 균형을 이루기 위해 균일한 무작위 정책 혼합 δ를 사용한다.
• 서rogate 모델은 1D 컨volutional 인코더의 잠재 공간에서 ICM 커널을 사용하는 다중 작업 GP이며, 표준 딥러닝 기법과 조기 정지 기법을 사용해 훈련된다.

실험 결과

연구 질문

• RQ1 GFlowNets는 다목적 최적화로 효과적으로 확장되어 다양하고 파레토 최적 해를 생성할 수 있는가?
• RQ2 스칼라화와 보상 조건부 GFlowNets를 기반으로 한 MOGFN-PC는 기존의 MOO 기준선 대비 더 뛰어난 다양성과 파레토 성능을 달성하는가?
• RQ3 NEHVI 할당 함수를 사용하는 활성 학습 루프를 갖춘 MOGFN-AL은 고비용 과학적 발견 과제에서 샘플 효율성과 다양성을 향상시킬 수 있는가?
• RQ4 β, δ, 최대 돌연변이 수와 같은 핵심 하이퍼파라미터가 생성된 후보의 성능과 다양성에 어떤 영향을 미치는가?
• RQ5 목적이 불완전한 대체 지표일 경우, 후보의 다양성이 후행 평가에서 성공 가능성에 얼마나 기여하는가?

주요 결과

• MOGFN-PC는 합성 및 분자 생성 과제에서 다양하고 파레토 최적 해를 성공적으로 생성하였으며, 이는 이 분야에서 보상 조건부 GFlowNets의 첫 실증적 검증이다.
• 형광 단백질 설계의 활성 학습 환경에서, MOGFN-AL은 기준선 방법 대비 상당한 샘플 효율성 향상과 다양성 향상을 달성하였다.
• 이 방법은 파레토 프론트에서 뛰어난 성능을 보였으며, 더 높은 초체적량 개선과 다수의 목표 간 무게 조정의 보다 우수한 커버리지로 나타났다.
• 단절 분석을 통해 보상 지수 β와 정책 혼합 δ가 탐색과 이용의 균형을 맞추는 데 핵심적임을 확인하였으며, 이는 다양성과 수렴성에 직접적인 영향을 미친다.
• 균일한 무작위 정책 혼합 δ의 사용은 성능을 희생시키지 않으면서 다양성을 향상시켰으며, 특히 초기 훈련 단계에서 두드러졌다.
• 모든 벤치마크 과제, 즉 시퀀스 및 분자 생성을 포함하여, 이 프레임워크는 다양성 지표와 파레토 프론트 품질 양면에서 강력한 기준선을 능가하였다.