[논문 리뷰] CFlowNets: Continuous Control with Generative Flow Networks

Yinchuan Li, Shuang Luo외 2명|arXiv (Cornell University)|2023. 03. 04.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 연속 제어 작업을 위해 생성적 플로우 네트워크(GFlowNets)를 확장하는 CFlowNets라는 새로운 프레임워크를 소개한다. 이는 중요도 표본 추출과 딥 네ural 네트워크를 활용해 연속 플로우 매칭 손실을 정식화함으로써 이루어지며, 기존 최고 수준의 강화 학습 알고리즘보다 뛰어난 탐색 성능을 달성한다. 이론적 오차 경계는 표본 수가 증가할수록 빠른 수렴을 보여준다.

ABSTRACT

Generative flow networks (GFlowNets), as an emerging technique, can be used as an alternative to reinforcement learning for exploratory control tasks. GFlowNet aims to generate distribution proportional to the rewards over terminating states, and to sample different candidates in an active learning fashion. GFlowNets need to form a DAG and compute the flow matching loss by traversing the inflows and outflows of each node in the trajectory. No experiments have yet concluded that GFlowNets can be used to handle continuous tasks. In this paper, we propose generative continuous flow networks (CFlowNets) that can be applied to continuous control tasks. First, we present the theoretical formulation of CFlowNets. Then, a training framework for CFlowNets is proposed, including the action selection process, the flow approximation algorithm, and the continuous flow matching loss function. Afterward, we theoretically prove the error bound of the flow approximation. The error decreases rapidly as the number of flow samples increases. Finally, experimental results on continuous control tasks demonstrate the performance advantages of CFlowNets compared to many reinforcement learning methods, especially regarding exploration ability.

연구 동기 및 목표

• 연속 상태 및 동작 공간으로의 GFlowNets 이론적 정식화를 확장하여 연속 제어 작업에의 적용을 가능하게 한다.
• 무한적 적분을 피하기 위해 중요도 표본 추출과 신경망 기반 플로우 근사법을 사용하는 연속 플로우 매칭을 위한 훈련 프레임워크를 개발한다.
• 플로우 근사의 오차 경계를 이론적으로 분석하여 표본 수가 증가할수록 수렴함을 보여준다.
• 연속 제어 벤치마크에서 CFlowNets의 실증적 검증을 통해 기존 강화 학습 방법보다 뛰어난 탐색 능력을 보여준다.
• 공개된 소스 코드를 통해 연속 제어에서의 GFlowNets에 대한 첫 번째 실증적 결과를 제공한다.

제안 방법

• 연속 상태-동작 공간에 대한 적분으로 이산 합을 대체하여 연속 플로우 매칭 손실 함수를 제안하며, 궤적 균형 또는 세부 균형 기준을 사용한다.
• 샘플된 궤적에서 부모 상태를 예측하기 위해 딥 네ural 네트워크를 활용하여 플로우 매칭 제약 조건에서 유입 및 유출의 효율적 근사를 가능하게 한다.
• 모든 상태-동작 쌍을 전수 조사하지 않기 위해 연속적인 유입 및 유출을 중요도 표본 추출을 통해 추정한다.
• 플로우 네트워크 출력 비율에 비례하는 확률을 가진 동작을 생성하기 위해 플로우 샘플링 메커니즘을 도입하여 능동적 탐색을 가능하게 한다.
• 플로우 근사의 이론적 오차 경계를 유도하며, 유사한 표본 수가 증가할수록 오차가 급격히 감소함을 증명한다.
• 플로우 네트워크, 부모 상태 예측을 위한 검색 네트워크, 그리고 내재된 탐색 효율성 덕분에 크기가 작은 리PLAY 버퍼를 통합한 훈련 프레임워크를 설계한다.

실험 결과

연구 질문

• RQ1 GFlowNets는 연속 상태 및 동작 공간을 가진 연속 제어 작업으로 이론적으로 확장될 수 있는가?
• RQ2 모든 상태-동작 쌍의 전수 조사 없이도 연속 플로우 매칭 손실을 효율적으로 근사할 수 있는가?
• RQ3 연속 GFlowNets에서 플로우 근사의 이론적 오차 경계는 무엇이며, 표본 수와 어떻게 관련되는가?
• RQ4 CFlowNets는 연속 제어 벤치마크에서 탐색 효율성과 최종 성능 측면에서 최고 수준의 강화 학습 알고리즘을 초월할 수 있는가?
• RQ5 우수한 내재적 탐색 덕분에 더 큰 리PLAY 버퍼가 필요 없이 표본 효율성을 유지하는가?

주요 결과

• CFlowNets는 Point-Robot-Sparse, Reacher-Goal-Sparse, Swimmer-Sparse와 같은 연속 제어 작업에서 DDPG, TD3, SAC, PPO보다 뛰어난 최종 수익과 학습 안정성으로 뛰어난 성능을 달성한다.
• 방법론은 기존 강화 학습 알고리즘보다 훨씬 뛰어난 탐색 능력을 보이며, 더 빠른 수렴과 높은 표본 효율성을 제공한다.
• 실험 결과, CFlowNets는 탐색 능력의 내재적 강도 덕분에 기존 방법들에 비해 매우 작은 리PLAY 버퍼(예: Point-Robot-Sparse의 경우 8,000)로도 충분함을 보여주며, 기존 방법들이 요구하는 100,000보다 훨씬 작다.
• 이론적 분석은 플로우 근사 오차가 표본 수가 증가할수록 급격히 감소함을 확인하며, 표본 수가 증가함에 따라 오차 분포의 尾부가 감소함을 보여준다.
• 모든 평가된 연속 제어 환경에서 CFlowNets는 최고 수준의 성능을 달성하며, 탐색이 핵심적인 희박 보상 환경에서 일관된 성과 향상을 보였다.
• 코드는 Gitee에 공개되어 재현 가능성과 연속 GFlowNets 분야의 향후 연구를 가능하게 한다.