[論文レビュー] Bootstrap Latent-Predictive Representations for Multitask Reinforcement Learning

Daniel Guo, Bernardo Ávila Pires+5 more|arXiv (Cornell University)|Apr 30, 2020

Reinforcement Learning in Robotics参考文献 38被引用数 42

ひとこと要約

本論文は Predictions of Bootstrapped Latents (PBL) を導入する。自己教師付き表現学習法でマルチタスク深層強化学習を対象とし、未来の潜在埋め込みを予測し、潜在から状態および状態から潜在の予測を用いたブートストラッピングサイクルを用いて、DMLab-30 および Atari-57 の性能を向上させる。

ABSTRACT

Learning a good representation is an essential component for deep reinforcement learning (RL). Representation learning is especially important in multitask and partially observable settings where building a representation of the unknown environment is crucial to solve the tasks. Here we introduce Prediction of Bootstrap Latents (PBL), a simple and flexible self-supervised representation learning algorithm for multitask deep RL. PBL builds on multistep predictive representations of future observations, and focuses on capturing structured information about environment dynamics. Specifically, PBL trains its representation by predicting latent embeddings of future observations. These latent embeddings are themselves trained to be predictive of the aforementioned representations. These predictions form a bootstrapping effect, allowing the agent to learn more about the key aspects of the environment dynamics. In addition, by defining prediction tasks completely in latent space, PBL provides the flexibility of using multimodal observations involving pixel images, language instructions, rewards and more. We show in our experiments that PBL delivers across-the-board improved performance over state of the art deep RL agents in the DMLab-30 and Atari-57 multitask setting.

研究の動機と目的

• マルチタスク、部分的に観測可能な RL 設定における表現学習の改善を動機づける。
• 未来の観測の潜在埋め込みを予測する自己教師付きの補助タスクを開発する。
• 潜在観測とエージェント状態の間にブートストラッピング機構を導入し、表現を豊かにする。
• 潜在空間だけで動作することで、マルチモーダル観測の統合を可能にする。
• DMLab-30 と Atari-57 で最先端ベースラインと比較して PBL を実証的に評価する。

提案手法

• Z_t を観測の潜在埋め込みとして、学習済みエンコーダ f(O_t) を用いて定義する。
• Forward prediction: 連結された部分履歴 B_{t,k} から Z_{t+k} を予測するために予測器 g を用い、ホライズン k=1..K について ||g(B_{t,k})-Z_{t+k}||^2 を最小化する。
• Reverse prediction: 潜在 Z_t から圧縮履歴 B_t を予測するために予測器 g' を用い、||g'(f(O_t))-B_t||^2 を最小化する。
• 前向き予測器と逆向き予測器を共同訓練して、単純な解に陥るのを回避するブートストラッピングサイクルを形成する。
• 全履歴を処理する h_f と部分履歴を処理する h_p の2つの RNN を用いて B_t および B_{t,k} を計算する。
• PopArt-IMPALA RL ベースを採用し、性能向上のためにより大きなアーキテクチャを用い、効率のために Timesteps をサブサンプリングする。

実験結果

リサーチクエスチョン

• RQ1 PBL は DMLab-30 および Atari-57 の既存の表現学習手法と比べてマルチタスク RL の性能を改善するか。
• RQ2 予測ホライズンは PBL の性能にどのように影響し、逆向き予測は有意義な潜在表現を学ぶ上でどの役割を果たすか。
• RQ3 PBL は単純な表現へ崩壊することなく安定するか、アーキテクチャの選択は結果にどのように影響するか。
• RQ4 PBL のエンコードはタスク間で共有される構造を捕捉し、未知のタスクへ一般化できるか。

主な発見

• PBL は DMLab-30 のマルチタスク設定で、画素制御、CPC、DRAW を補助表現タスクとして上回る。
• 正前方ホライズンが大きくなるにつれて性能は向上するが、収益は徐々に逓減し、マルチステップ予測は単一ステップより有益である。
• 逆向き予測を取り除く（潜在ターゲットをランダム化）しても、長いホライズンの利点は残り、前方予測だけでは有意な潜在ターゲットがないと十分でないことを示す；逆向き予測は有用な潜在構造の学習を助ける。
• PBL は崩壊して単純な解に陥ることがなく、潜在路でのランダム射影を用いても競争力のある結果が得られ、ロバストな訓練ダイナミクスを示唆する。
• Atari-57 では、PBL はタスク間の中央値の人間正規化スコアを改善し、DMLab-30 を超えた一般性を示す；タスク間では PBL がいくつかのタスクでベースラインを上回る。
• デコーディングプローブは、PBL の表現が物体位置情報をより良く符号化し、ランダム射影ベースラインより長くそれを保持することを示す。