[論文レビュー] Hashing over Predicted Future Frames for Informed Exploration of Deep Reinforcement Learning

Haiyan Yin, Chen, Jianda+1 more|arXiv (Cornell University)|Jul 3, 2017

Reinforcement Learning in Robotics参考文献 22被引用数 6

ひとこと要約

本論文は、未来のフレームを予測するための深層アクション条件付き予測モデルと、局所性に敏感なハッシュ（LSH）を用いた畳み込みオートエンコーダを用いて予測された未来状態の新規性を評価する、深層強化学習における新しいインフォームド探索フレームワークを提案する。予測されたフレームと実際のフレームのハッシュコードを照合することで、エージェントは予測された状態の頻度を定量化し、最も未探索の軌道へと向かう行動を選択する。これにより、ベースライン手法と比較して、Atari 2600環境におけるサンプル効率と性能が顕著に向上する。

ABSTRACT

In deep reinforcement learning (RL) tasks, an efficient exploration mechanism should be able to encourage an agent to take actions that lead to less frequent states which may yield higher accumulative future return. However, both knowing about the future and evaluating the frequentness of states are non-trivial tasks, especially for deep RL domains, where a state is represented by high-dimensional image frames. In this paper, we propose a novel informed exploration framework for deep RL, where we build the capability for an RL agent to predict over the future transitions and evaluate the frequentness for the predicted future frames in a meaningful manner. To this end, we train a deep prediction model to predict future frames given a state-action pair, and a convolutional autoencoder model to hash over the seen frames. In addition, to utilize the counts derived from the seen frames to evaluate the frequentness for the predicted frames, we tackle the challenge of matching the predicted future frames and their corresponding seen frames at the latent feature level. In this way, we derive a reliable metric for evaluating the novelty of the future direction pointed by each action, and hence inform the agent to explore the least frequent one.

研究の動機と目的

• 深層強化学習において一般的に見られる高次元的・連続的状態空間、特に報酬が疎である環境における効率的探索の課題に対処すること。
• エージェントが将来の軌道を予測し、ランダムな探索に依存せずに予測された状態の新規性を評価するメカニズムを開発すること。
• モデルベースの予測とハッシュ技術を統合し、将来の状態の訪問頻度を信頼性を持って推定する仕組みを構築すること。
• 標準的な探索ヒューリスティクス（例：ε-greedy）の限界、すなわち方向性の欠如と複雑な環境での失敗を克服すること。
• 学習済みハッシュコードを用いて予測された将来状態とその頻度推定値を活用することで、決定論的かつ知識に基づいた探索を可能にすること。

提案手法

• 与えられた状態-行動ペアから複数ステップ先の未来フレームを予測するためのアクション条件付き深層予測モデルを訓練する。
• 観測されたフレームから高レベル特徴を抽出するための深層畳み込みオートエンコーダを用い、局所性に敏感なハッシュ（LSH）を適用して、効率的な類似性検索に適したバイナリーハッシュコードを生成する。
• 2段階の訓練手順を導入する：まず再構成損失を用いてオートエンコーダを事前学習し、次に予測フレームのハッシュコードと対応する真値フレームのハッシュコードを一致させるためのコード一致損失を用いて微調整する。
• 予測されたフレームのハッシュコードと、実際に観測されたフレームのハッシュコードを、潜在的特徴レベルで照合することで、予測された状態の頻度を信頼性を持って数えることを可能にする。
• 各行動の予測された未来状態のハッシュコードの逆頻度に基づいて、新規性スコアを計算し、エージェントが訪問頻度が最も低い未来の軌道へと探索を誘導する。
• DQNアルゴリズムに新規性メトリクスを統合し、ランダム探索の代わりに、予測された状態の新規性に基づいたインフォームドで決定論的な行動選択を実現する。

実験結果

リサーチクエスチョン

• RQ1 未来フレーム予測とハッシュ技術を組み合わせることで、ランダム探索に比べ、より効率的かつ方向性のある探索が可能になるか？
• RQ2 予測された未来フレームのハッシュコードを、観測済みフレームのものとどのように意味的に一致させ、その訪問頻度を推定できるか？
• RQ3 学習済みモデルを用いて将来状態を予測し、その新規性を評価することで、報酬が疎な環境において、サンプル効率と性能が向上するか？
• RQ4 予測された状態の頻度に基づく決定論的探索戦略が、複雑な環境においてε-greedyのような確率的探索ヒューリスティクスを上回るか？
• RQ5 モデルベースの予測とハッシュ技術を統合することで、Atari 2600のような深層強化学習タスクにおける探索性能がどの程度向上するか？

主な発見

• 提案手法DQN-Informed-Hashは、テストされたすべてのAtari 2600環境でDQN-Random、A3C、A3C-CTSを上回り、性能スコアで顕著な向上を示した。
• Breakoutでは、DQN-Informed-Hashが451.93のスコアを達成した一方、DQN-Informedは進展がなく0.93に留まった。これは、報酬が疎な環境下でも本手法の優位性を示している。
• テストされた領域全体で、先行研究のDQN-Informedベースラインより平均15.6%の性能向上を達成した。
• 2段階目の訓練におけるコード一致損失により、平均コード損失が1を超える状態からほぼ0にまで低下し、予測フレームの頻度数え上げが意味を持つようになった。
• コード一致の微調整後は再構成品質がわずかに低下したが、予測フレームは依然として意味的に意味のあるものであり、環境の主要なダイナミクスを反映していた。
• ハッシュコードは状態の類似性を効果的に捉えており、小さな変化（例：no-op、左）を引き起こす行動は類似したコードを生成する一方、大きな変化（例：右）を引き起こす行動は明確に異なるコードを生成した。