[論文レビュー] DAQN: Deep Auto-encoder and Q-Network

Daiki Kimura|arXiv (Cornell University)|Jun 2, 2018

Reinforcement Learning in Robotics参考文献 31被引用数 14

ひとこと要約

本稿では、複雑な環境における学習試行回数を削減するために、畳み込み自己符号化器を用いて深層Qネットワークを事前学習するDAQNという深層強化学習手法を提案する。ラベルなしの視覚的データから学習した特徴量でQネットワークを初期化することで、ノイズが多く高次元な画像を含む現実世界のロボットタスクにおいて、標準的なDQNと比較して2.5倍速い学習が達成された。

ABSTRACT

The deep reinforcement learning method usually requires a large number of training images and executing actions to obtain sufficient results. When it is extended a real-task in the real environment with an actual robot, the method will be required more training images due to complexities or noises of the input images, and executing a lot of actions on the real robot also becomes a serious problem. Therefore, we propose an extended deep reinforcement learning method that is applied a generative model to initialize the network for reducing the number of training trials. In this paper, we used a deep q-network method as the deep reinforcement learning method and a deep auto-encoder as the generative model. We conducted experiments on three different tasks: a cart-pole game, an atari game, and a real-game with an actual robot. The proposed method trained efficiently on all tasks than the previous method, especially 2.5 times faster on a task with real environment images.

研究の動機と目的

• 高複雑度の視覚入力を持つ現実世界のロボット環境における深層強化学習に必要な学習試行回数を削減すること。
• 各行動が損傷のリスクを伴い、報酬が人間の介入を必要とする現実ロボット学習における高いサンプルおよび相互作用コストの課題に対処すること。
• 生成モデル（自己符号化器）を用いた事前学習が、深層Qネットワークにおけるサンプル効率を向上させるかどうかを検討すること。
• シミュレーテッドゲームおよび現実ロボットタスクを含む多様な環境における事前学習の有効性を実証すること。
• 特にノイズが多い、または複雑な視覚設定下において、自己符号化器の事前学習が深層強化学習の性能を向上させる条件を明確にすること。

提案手法

• まず、ランダムポリシーまたは環境の観測によって収集したラベルなしの視覚的入力に対して、畳み込み自己符号化器を訓練する。この段階では、行動や報酬の情報は不要である。
• 訓練済みのエンコーダーを用いて、深層Qネットワークの特徴抽出層を初期化し、標準的なランダム初期化に代える。
• 自己符号化器のデコーダー部を削除し、DQNフレームワークにおける離散的行動出力用に新しい全結合層を追加する。
• 標準的な経験再生とターゲットネットワーク技術を用いて、初期化済みDQNを微調整し、最適ポリシーを学習する。
• 自己符号化器が学習した表現を活用することで、複雑な画像からの空間的・構造的特徴を捉え、一般化性能と収束速度を向上させる。
• 最適な事前学習および強化学習フェーズのハイパーパrameterチューニングを保証し、先行研究で見られた劣悪な性能を回避する。

実験結果

リサーチクエスチョン

• RQ1 生成的自己符号化器を用いた深層Qネットワークの事前学習が、深層強化学習における学習エピソード数を顕著に削減できるか？
• RQ2 自己符号化器の事前学習は、ノイズが多い、または変動が激しい入力を含む高複雑度の視覚環境（例：現実世界のロボットタスク）において、より大きな利点をもたらすか？
• RQ3 サンプル効率という観点から、DAQNはシミュレーテッド環境および現実世界環境において、標準的なDQNと比較してどのように性能を発揮するか？
• RQ4 事前学習データの質と多様性が、事前学習フェーズの成功に果たす役割は何か？
• RQ5 先行研究における自己符号化器の事前学習が失敗した理由は何か？DAQNはその制限をどのように克服しているか？

主な発見

• DAQNは、標準的なDQNと比較して、現実世界のグー・チョキ・パー・ロボットタスクにおいて2.5倍速い学習収束を達成し、顕著なサンプル効率の向上を示した。
• 背景ノイズや変動が激しい高視覚的複雑度を持つ環境、例えば現実世界のロボットビジョン入力において、必要な学習試行回数が削減された。
• 行動や報酬が不要なラベルなしデータを用いた畳み込み自己符号化器による事前学習が、強力なインダクティブバイアスを提供し、ポリシー学習を加速した。
• 事前学習済み自己符号化器の最初の層のみをコピーする手法に比べ、本手法はより優れた性能を発揮した。これは、ネットワーク全体の転送がより効果的であることを示している。
• 本手法は、シミュレーテッド・カート・ポールタスク、アーケードゲーム、現実ロボットゲームという3つの異なる環境で有効であった。これにより、広範な適用可能性が確認された。
• 事前学習の成功は、完全な自己符号化器ネットワークの使用と適切なハイパーパrameterチューニングに依存しており、これにより先行研究の限界が克服された。