[論文レビュー] Reinforcement Learning with A* and a Deep Heuristic

Ariel Keselman, S. Ten+2 more|arXiv (Cornell University)|Nov 19, 2018

Reinforcement Learning in Robotics参考文献 12被引用数 13

ひとこと要約

本論文は、A*探索と深層畳み込みニューラルネットワークヒューリスティクスを組み合わせることで、複雑な環境において効率的な計画を実現するモデルベース強化学習アルゴリズム \aleph^{*} を提案する。行動価値をソフトな時系列差分更新により学習することで、畳み込みニューラルネットワークを訓練し、ピクセルベースのドライブシミュレーションにおいてN-Step DQNに比べ優れたサンプル効率と性能を達成した。木構造は高い逐次的効率（85%のノードが逐次的経路に含まれる）を示し、理論的報酬上限の50%に達した。

ABSTRACT

A* is a popular path-finding algorithm, but it can only be applied to those domains where a good heuristic function is known. Inspired by recent methods combining Deep Neural Networks (DNNs) and trees, this study demonstrates how to train a heuristic represented by a DNN and combine it with A*. This new algorithm which we call aleph-star can be used efficiently in domains where the input to the heuristic could be processed by a neural network. We compare aleph-star to N-Step Deep Q-Learning (DQN Mnih et al. 2013) in a driving simulation with pixel-based input, and demonstrate significantly better performance in this scenario.

研究の動機と目的

• A*が既知のヒューリスティクスを持たない領域では限界を示すという問題に対処するため、強化学習を用いて深層畳み込みニューラルネットワークヒューリスティクスを学習する。
• 高次元の観測空間において、学習済みヒューリスティクスを用いた木探索を活用するモデルベース強化学習アルゴリズムを開発する。
• ドライブシミュレーションなどのピクセル入力を持つ環境において、標準的なDQNに比べてサンプル効率と性能を向上させる。
• 効果的なヒューリスティクス誘導探索により、浅いが非常に逐次的な木構造を構築することで、リアルタイム計画を可能にする。

提案手法

• アルゴリズムは、累積報酬と推定Q値の組み合わせに基づいてノードを優先順位付きキューで展開し、高い報酬と高い期待報酬を達成する経路を優先する。
• 行動価値は、葉ノードから根ノードへソフトな時系列差分更新を用いてバックプロパゲートする。その定義は $ Q^{s}_{a} = r^{s}_{a} + \gamma \frac{\sum_{b\in{\mathcal{A}}} Q^{x}_{b} w^{x}_{b}}{\sum_{b\in{\mathcal{A}}} w^{x}_{b}} $ であり、最大値を取るのではなく行動価値の滑らかさを保つ。
• 深層畳み込みニューラルネットワーク（CNN）がヒューリスティクス関数 $ \mathcal{H}_{\theta} $ を担い、生のピクセル観測から行動価値を予測する。
• ネットワークは平均二乗誤差損失を用いて学習される：$ \mathcal{L} = \frac{\left|Q^{s} - \mathcal{H}_{\theta}(S(s))\right|^{2}}{\mathrm{len}(\mathcal{A})} $、勾配降下法を用いる。
• 完了した木からの経験がリプレイバッファに保存され、ネットワーク重みの更新に使用され、継続的学習が可能になる。
• 時間的ダイナミクス（例：速度、ステアリング）はフレームスタックを避けるためにピクセルカラーに直接埋め込まれ、単一フレーム観測からのエンドツーエンド学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 深層畳み込みニューラルネットワークヒューリスティクスは、複雑で高次元な環境における計画効率を向上させるために、有効に訓練され、A*探索に統合可能か？
• RQ2 学習済み深層ヒューリスティクスを用いたA*の性能は、ピクセルベースの制御タスクにおいて標準的なDQNに比べてどのように異なるか？
• RQ3 木構造の特性（例：分岐率、逐次的深さ）は、リアルタイム計画の実現可能性にどの程度影響を与えるか？
• RQ4 標準的なQ学習更新に比べ、ソフトな時系列差分更新は学習の安定性と性能を向上させるか？

主な発見

• ドライブシミュレーションにおいて、\aleph^{*}アルゴリズムは1000回の学習イテレーション後に理論的報酬上限の50%に達し、効果的な学習を示した。
• 訓練済みヒューリスティクスのみを用いた場合（木探索なし）は性能が50%低下したため、完全な性能を発揮するには木探索が不可欠であることが示された。
• N-Step DQNは、高い探索（$\epsilon = 1$）を用いても、同じ環境では有効に学習できず、\aleph^{*}の構造的探索の優位性が浮き彫りになった。
• \aleph^{*}の木構造は高い効率を示し、85%のノードがほぼ逐次的経路を形成しており、効率的なリアルタイム計画が可能である。
• 優先順位付きキューの使用により、アルゴリズムのスケーリングは $\mathcal{O}(\text{rank})$ となり、MCTSのようなロールアウトベース手法の $\mathcal{O}(\text{rank}^2)$ に比べ、大きな木構造に対しても適している。