[논문 리뷰] A theory of continuous generative flow networks

Salem Lahlou, Tristan Deleu외 7명|arXiv (Cornell University)|2023. 01. 30.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 측정 가능한 점이 있는 그래프와 마르코프 커널을 사용하여 유량 매칭, 세부 균형, 궤적 균형 조건을 정식화함으로써, 이산 상태 공간에서 연속 및 하이브리드 상태 공간으로 GFlowNets의 적용 가능성을 일반화하는 이론을 제안한다. 주요 기여는 이러한 조건들 중 어느 하나를 충족할 경우 학습된 전진 커널이 목표 비정규화 분포에서 표본을 추출함을 보여주는 이론적 증명이다. 이는 연속 영역에서 안정적이고 기울기 기반 학습이 가능하게 하며, 비-GFlowNet 기준선에 비해 강력한 경험적 성능을 보인다.

ABSTRACT

Generative flow networks (GFlowNets) are amortized variational inference algorithms that are trained to sample from unnormalized target distributions over compositional objects. A key limitation of GFlowNets until this time has been that they are restricted to discrete spaces. We present a theory for generalized GFlowNets, which encompasses both existing discrete GFlowNets and ones with continuous or hybrid state spaces, and perform experiments with two goals in mind. First, we illustrate critical points of the theory and the importance of various assumptions. Second, we empirically demonstrate how observations about discrete GFlowNets transfer to the continuous case and show strong results compared to non-GFlowNet baselines on several previously studied tasks. This work greatly widens the perspectives for the application of GFlowNets in probabilistic inference and various modeling settings.

연구 동기 및 목표

• 이산 상태 공간을 초월하여 연속 및 하이브리드 상태 공간으로 GFlowNets의 이론적 기초를 확장하기.
• 연속 GFlowNets를 위한 엄밀한 수학적 프레임워크를 측정 가능한 점이 있는 그래프와 마르코프 커널 기반으로 수립하기.
• 유량 매칭, 세부 균형, 궤적 균형 조건을 충족할 경우 비정규화 목표 분포에서 정확한 표본 추출이 보장됨을 증명하기.
• 이론을 경험적으로 검증하고 이산 GFlowNets의 장점이 연속 영역으로 어떻게 전이되는지 보여주기.
• 연속 GFlowNets 학습에서의 실용적 지침을 제공하고 도메인 특화 과제를 규명하기.

제안 방법

• 측정 가능한 점이 있는 그래프 위에서 GFlowNets를 정식화하여, 마르코프 커널을 통해 방향성 비순환 그래프(DAGs)를 연속 및 하이브리드 영역으로 일반화하기.
• 라돈-니코디움 미분과 밀도 함수를 사용하여 유량 매칭, 세부 균형, 궤적 균형 조건의 연속적 확장을 정의하기.
• 이 조건들 기반의 미분 가능하고 기울기 기반 최적화에 적합한 학습 손실을 유도하기.
• 세 가지 조건 중 어느 하나인 유량 매칭, 세부 균형, 궤적 균형을 충족할 경우 종료 상태 측도가 정규화를 제외한 목표 분포와 일치함을 증명하기.
• 신경망 아키텍처와 이론을 통합하여 연속 영역에서 순차적 표본 추출기의 암시적, 비정책 학습을 가능하게 하기.
• 혼합 이산-연속 행동 공간을 포함한 작업에서 실험을 수행하고 비-GFlowNet 기준선과 비교함으로써 프레임워크를 검증하기.

Figure 1 : (a) Measurable pointed graph structure of the environment in § 4.1 : starting at $s_{0}$ , the first action makes a step within the grey quarter-disc, and subsequent actions make steps of a fixed size or terminate. (b) Evolution of the JSD during training of TB and DB, with both a uniform

실험 결과

연구 질문

• RQ1 이산 GFlowNets의 이론적 기초를 연속 및 하이브리드 상태 공간으로 일반화할 수 있는가?
• RQ2 표준 GFlowNet 목표인 유량 매칭, 세부 균형, 궤적 균형이 연속 도메인에서도 유효하고 효과적인가?
• RQ3 연속 영역에서 비정규화 목표 밀도에서 정확한 표본 추출을 보장하기 위해 필요한 가정과 수학적 구조는 무엇인가?
• RQ4 GFlowNets의 장점—예를 들어 안정적인 비정책 학습과 모드 커버리지—는 어떻게 연속 분포로 전이되는가?
• RQ5 연속 설정에서 GFlowNets를 학습할 때 발생하는 실질적 과제는 무엇이며, 어떻게 완화할 수 있는가?

주요 결과

• 이론적으로 세 가지 연속 GFlowNets 조건—유량 매칭, 세부 균형, 궤적 균형—중 어느 하나를 충족할 경우 학습된 전진 커널이 목표 비정규화 분포에서 표본을 추출함을 보여준다.
• 제안된 학습 손실은 미분 가능하며 기울기 기반 최적화를 가능하게 하며, 기존의 이산 GFlowNets 손실을 특수 케이스로 포함한다.
• 경험 결과에 따르면 GFlowNets의 장점—예를 들어 안정적인 비정책 학습과 모드 커버리지—가 연속 및 하이브리드 상태 공간으로 효과적으로 전이됨을 확인할 수 있다.
• 연속 및 혼합 이산-연속 구조를 포함한 벤치마크 작업에서, 일반화된 GFlowNets는 비-GFlowNet 기준선에 비해 표본 품질과 학습 안정성에서 뛰어난 성능을 보였다.
• 실험 결과 연속 GFlowNets가 베이지안 구조 학습에서 연속 매개변수를 포함하거나 분자 구조적 공간에서 복잡한 분포를 모델링할 수 있음을 확인했다.
• 연구에서는 밀도 추정에서의 수치적 불안정성과 커널 선택 문제와 같은 연속 도메인의 특정 과제를 규명하였으며, 이는 주의 깊은 초모수 조정이 필요함을 시사한다.

Figure 2 : (a) Reward density in $[0,1]^{2}$ . (b) KDE fit on terminating states of the models trained with TB, $\rho=0.25$ . (c) KDE fit on samples from the reward, brought back to $D_{0}$ using a uniform $P_{B}$ , corresponding to what $P_{F}(s_{0},-)$ needs to be in order to satisfy DB or TB. A r