[論文レビュー] The Bottleneck Simulator: A Model-based Deep Reinforcement Learning Approach

Iulian Vlad Serban, Chinnadhurai Sankar+3 more|arXiv (Cornell University)|Jul 12, 2018

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

ボトルネックシミュレータは、環境遷移モデルを要因分解するために学習された離散的抽象状態（ボトルネック）を用いるモデルベースの深層強化学習手法であり、サンプル効率を向上させる。構造的事前知識と効率的なロールアウトシミュレーションを活用することで、少サンプルのテキストアドベンチャーおよび現実世界の対話応答選択タスクにおいて、競合手法を上回る性能を発揮する。

ABSTRACT

Deep reinforcement learning has recently shown many impressive successes. However, one major obstacle towards applying such methods to real-world problems is their lack of data-efficiency. To this end, we propose the Bottleneck Simulator: a model-based reinforcement learning method which combines a learned, factorized transition model of the environment with rollout simulations to learn an effective policy from few examples. The learned transition model employs an abstract, discrete (bottleneck) state, which increases sample efficiency by reducing the number of model parameters and by exploiting structural properties of the environment. We provide a mathematical analysis of the Bottleneck Simulator in terms of fixed points of the learned policy, which reveals how performance is affected by four distinct sources of error: an error related to the abstract space structure, an error related to the transition model estimation variance, an error related to the transition model estimation bias, and an error related to the transition model class bias. Finally, we evaluate the Bottleneck Simulator on two natural language processing tasks: a text adventure game and a real-world, complex dialogue response selection task. On both tasks, the Bottleneck Simulator yields excellent performance beating competing approaches.

研究の動機と目的

• 現実世界の応用における深層強化学習のデータ非効率性を解消すること。
• 離散的ボトルネック状態を用いた要因分解された抽象遷移モデルを学習することで、サンプル効率を向上させること。
• モデルベースのロールアウトと高次元状態表現を組み合わせることで、少数の例からの有効なポリシー学習を可能にすること。
• 抽象化されたMDPにおけるポリシー誤差の要因を数学的に分析すること。
• 対話応答選択やテキストアドベンチャーゲームなどの複雑な現実世界のNLPタスクにおける有効性を実証すること。

提案手法

• ボトルネックシミュレータは、状態を簡略化するための離散的抽象（ボトルネック）状態にマッピングすることで、要因分解された遷移モデルを学習する。
• 本手法は、情報ボトルネックとしての離散的抽象状態空間を用い、完全な世界状態間の遷移を仲介する。
• 学習された抽象遷移モデルに基づくロールアウトシミュレーションを用いて、Q学習によるポリシーの訓練が行われる。
• 抽象状態表現は、予測精度ではなくポリシー性能を最適化するために、遷移モデルと同時に最適化される。
• 本アプローチにより、ポリシーネットワークは高次元の完全な状態上で動作しつつも、モデル内での抽象化の恩恵を受けることができる。
• 固定点解析により、ポリシー誤差の理論的バウンディングが得られ、誤差の4要因（構造的不一致、推定分散、推定バイアス、モデルクラスバイアス）に分解される。

実験結果

リサーチクエスチョン

• RQ1 モデルベースRLを、現実世界の低データNLPタスクに適したデータ効率の良いものにどのように改善できるか？
• RQ2 離散的抽象状態をボトルネックとして用いることで、ポリシー学習におけるサンプル効率はどの程度向上するか？
• RQ3 構造的誤差、分散誤差、バイアス誤差、クラスバイアス誤差といった、さまざまな誤差要因は、学習されたポリシーの性能にどのように影響するか？
• RQ4 ボトルネックシミュレータは、モデルフリーおよび他のモデルベースRL手法を、複雑な現実世界の対話およびテキストベースタスクで上回ることができるか？
• RQ5 抽象状態空間にドメイン固有の構造的知識を組み込むと、性能にどのような影響を与えるか？

主な発見

• ボトルネックシミュレータは、テキストアドベンチャー・ゲームにおいて最先端の性能を達成し、競合するモデルフリーおよびモデルベース手法よりもはるかに少ない訓練例で優れた性能を発揮した。
• 現実世界の複雑な対話応答選択タスクにおいて、ボトルネックシミュレータは、モデルフリーDQNやオフポリシー手法を含む強力なベースラインを上回ったが、人間の好みデータが限られた状況でも同様に優れた性能を示した。
• 本手法は、一般化能力とサンプル効率に優れ、数100件のデモンストレーションでのみ高い性能を達成した。
• 固定点解析により、構造的不一致とモデルクラスバイアスが主な誤差要因であることが明らかになった。これは、意味的な抽象化設計の重要性を強調している。
• 定性的な分析では、学習された抽象状態構造が、ゲームの目的や対話の目的といったタスク関連の意味的コンセプトとよく一致していることが示された。
• 抽象状態空間が真の環境構造と完全に一致していなくても、ポリシーが完全な状態へのアクセスを活用することで補償できるため、有効なポリシー学習が可能になった。