[論文レビュー] CFlowNets: Continuous Control with Generative Flow Networks

Yinchuan Li, Shuang Luo+2 more|arXiv (Cornell University)|Mar 4, 2023

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本稿では、連続的状態・行動空間における制御タスクに生成的フローネットワーク（GFlowNets）を拡張するための新しいフレームワーク、CFlowNetsを提案する。連続的フローマッチング損失を重要度サンプリングと深層ニューラルネットワークによるフロー近似を用いて定式化することで、最先端の強化学習アルゴリズムを上回る優れた探索性能を達成する。理論的誤差バインディングにより、サンプルサイズが増加するに従い急速に収束することが示された。

ABSTRACT

Generative flow networks (GFlowNets), as an emerging technique, can be used as an alternative to reinforcement learning for exploratory control tasks. GFlowNet aims to generate distribution proportional to the rewards over terminating states, and to sample different candidates in an active learning fashion. GFlowNets need to form a DAG and compute the flow matching loss by traversing the inflows and outflows of each node in the trajectory. No experiments have yet concluded that GFlowNets can be used to handle continuous tasks. In this paper, we propose generative continuous flow networks (CFlowNets) that can be applied to continuous control tasks. First, we present the theoretical formulation of CFlowNets. Then, a training framework for CFlowNets is proposed, including the action selection process, the flow approximation algorithm, and the continuous flow matching loss function. Afterward, we theoretically prove the error bound of the flow approximation. The error decreases rapidly as the number of flow samples increases. Finally, experimental results on continuous control tasks demonstrate the performance advantages of CFlowNets compared to many reinforcement learning methods, especially regarding exploration ability.

研究の動機と目的

• 連続的状態空間および行動空間へのGFlowNetsの理論的定式化を拡張し、連続的制御タスクへの応用を可能にする。
• 連続的フローマッチングの訓練フレームワークを構築し、状態・行動ペアの全組み合わせの全走査を避けるために重要度サンプリングとニューラルネットワークベースのフロー近似を用いる。
• フロー近似の誤差バインディングを理論的に分析し、サンプルサイズの増加に伴い収束することを示す。
• 連続的制御ベンチマーク上でCFlowNetsの実験的妥当性を検証し、既存のRL手法と比較して優れた探索能力を示す。
• GFlowNetsを連続的制御に初めて実証的に適用し、再現可能性を確保するためのオープンソースコードを提供する。

提案手法

• 連続的状態・行動空間における積分を用いた離散的和の置き換えにより、軌道バランスまたは詳細バランス基準に基づく連続的フローマッチング損失関数を提案する。
• サンプリングされた軌道における親状態の予測に深層ニューラルネットワークを用い、フローマッチング制約における流入・流出の効率的近似を可能にする。
• 連続的流入・流出の推定に重要度サンプリングを用い、連続環境におけるすべての状態・行動ペアの全走査を回避する。
• フローネットワーク出力に比例する確率で行動を生成するためのフローフェッチメカニズムを導入し、能動的探索を可能にする。
• フロー近似の理論的誤差バインディングを導出し、フローサンプル数の増加に伴い誤差が急速に減少することを証明する。
• フローネットワーク、親状態予測のためのリtrieーブネットワーク、および内在的な探索効率のおかげで小規模なリプレイバッファを備えた訓練フレームワークを設計する。

実験結果

リサーチクエスチョン

• RQ1 GFlowNetsは、連続的状態空間および行動空間における連続的制御タスクに理論的に拡張可能か？
• RQ2 状態・行動ペアの全組み合わせの全走査を避けて、連続的フローマッチング損失を効率的に近似する方法は何か？
• RQ3 連続的GFlowNetsにおけるフロー近似の理論的誤差バインディングは何か？また、サンプルサイズに伴いどのようにスケーリングされるか？
• RQ4 CFlowNetsは、連続的制御ベンチマークにおける探索効率および最終的パフォーマンスの面で、最先端の強化学習アルゴリズムを上回るか？
• RQ5 優れた内発的探索のおかげで、より大きなリプレイバッファの必要性が低減され、サンプル効率が維持されるか？

主な発見

• CFlowNetsは、Point-Robot-Sparse、Reacher-Goal-Sparse、Swimmer-Sparseといった連続的制御タスクにおいて、DDPG、TD3、SAC、PPOを上回る最終的リターンと学習安定性を達成した。
• 本手法は、ベースラインRLアルゴリズムと比較して顕著に優れた探索能力を示し、収束が速く、より高いサンプル効率を達成した。
• 実験の結果、CFlowNetsは、内在的探索力のおかげで、ベースライン手法が100,000必要とするのに対し、Point-Robot-Sparseではたった8,000の小規模なリプレイバッファで十分であることがわかった。
• 理論的分析により、フロー近似の誤差がフローサンプル数の増加に伴い急速に減少することが確認され、誤差分布の尾部もサンプルサイズの増加に伴い小さくなることが示された。
• CFlowNetsは、評価されたすべての連続的制御環境で最先端のパフォーマンスを達成し、特に探索が重要なスパarsely-rewarded環境で一貫した向上を示した。
• コードはGiteeに公開されており、再現性と連続的GFlowNets分野におけるさらなる研究を可能にしている。