[論文レビュー] Continuous Neural Algorithmic Planners

Yu He, Petar Veličković+2 more|arXiv (Cornell University)|Nov 29, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、行動空間のボーリングと選択的サンプリング戦略を用いて大規模な計画グラフを管理することで、連続制御にニューラルアルゴリズム的推論を拡張する Continuous Neural Algorithmic Planners (CNAP) を提案する。CNAP は、PPO などのモデルフリーなベースラインと比較して、低データ、高次元の MuJoCo 環境において優れたサンプル効率と性能を達成し、複雑な連続制御タスクへのアルゴリズム的推論の統合の可能性を示している。

ABSTRACT

Neural algorithmic reasoning studies the problem of learning algorithms with neural networks, especially with graph architectures. A recent proposal, XLVIN, reaps the benefits of using a graph neural network that simulates the value iteration algorithm in deep reinforcement learning agents. It allows model-free planning without access to privileged information about the environment, which is usually unavailable. However, XLVIN only supports discrete action spaces, and is hence nontrivially applicable to most tasks of real-world interest. We expand XLVIN to continuous action spaces by discretization, and evaluate several selective expansion policies to deal with the large planning graphs. Our proposal, CNAP, demonstrates how neural algorithmic reasoning can make a measurable impact in higher-dimensional continuous control settings, such as MuJoCo, bringing gains in low-data settings and outperforming model-free baselines.

研究の動機と目的

• 従来の研究で未解決のままだった連続的行動空間への、ニューラルアルゴリズム的推論による暗黙的計画の拡張。
• 高次元連続制御における計画グラフのスケーラビリティ課題に対処するため、選択的ネイバー・サンプリング戦略を導入すること。
• ニューラルアルゴリズム的推論が、連続ダイナミクスを有する複雑な現実世界の制御タスクにおいても、サンプル効率と一般化能力を維持できるかどうかを評価すること。
• 大規模な計画グラフにおける学習の安定性と性能に与える、異なるサンプリング戦略の影響を調査すること。
• 離散的行動空間を超えて、高次元連続制御タスクへのアルゴリズム的推論の適用可能性を実証すること。

提案手法

• グラフニューラルネットワークベースの価値反復の適用を可能にするために、一様なボーリングを用いて連続的行動空間を離散化する。
• 現在の状態から計画ホライゾンにわたり展開することで計画グラフを構築し、ボーリングされた行動空間から行動をサンプリングする。
• 4つのネイバー・サンプリング戦略（マニュアル・ガウス型、学習済みガウス型、再利用ポリシー型、学習済みサンプリング型）を採用してグラフサイズを削減する。
• メッセージパッシング GNN を用いて計画グラフ上で価値反復をシミュレートし、ベルマン最適性方程式に従って状態価値を更新する。
• ポリシー勾配の目的関数を用いてエージェントを訓練し、GNN が計画のための価値推定を提供する。
• GNN をインダクティブバイアスとして統合することで、特権情報にアクセスできない状況下でも暗黙的計画を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルアルゴリズム的推論は、高次元行動空間を有する連続制御タスクに効果的に拡張可能か？
• RQ2 異なるネイバー・サンプリング戦略は、連続制御における計画グラフのスケーラビリティと性能にどのように影響するか？
• RQ3 GNN を用いたアルゴリズム的推論の統合により、低データ環境におけるサンプル効率と一般化能力が向上するか？
• RQ4 複雑な MuJoCo 環境において、CNAP の性能は PPO などのモデルフリーなベースラインと比べてどうか？
• RQ5 パrametric な対比して nonparametric なサンプリング戦略の影響は、学習の安定性と収束にどのような影響を及けるか？

主な発見

• Swimmer および HalfCheetah において、低データ設定で CNAP は PPO を上回り、より高い平均エピソード報酬を達成し、学習が速い。
• Humanoid（行動次元=17）では、すべての CNAP バリエーションが PPO を上回り、非パrametric サンプリング（例：マニュアル・ガウス型）が知識習得が最も速い。
• HumanoidStandup では、CNAP は安定した座り姿勢を維持するが、PPO エージェントは速く転倒するため、同程度の平均報酬でもより高い耐性を示す。
• 定性的な分析から、CNAP エージェントはバランスを保ち、安定した歩行（例：Humanoid での歩行）を実行するが、PPO エージェントは頻繁に転倒する。
• 非パrametric サンプリング戦略（例：マニュアル・ガウス型）を用いることで、パラメータ数が少ないため、パラメトリックな代替手法よりも学習がより安定する。
• CNAP は、離散的行動空間を超えて、高次元連続制御タスクへのニューラルアルゴリズム的推論の成功した適用を示している。