[論文レビュー] Implicit Quantile Networks for Distributional Reinforcement Learning

Will Dabney, Georg Ostrovski+2 more|arXiv (Cornell University)|Jun 14, 2018

Reinforcement Learning in Robotics参考文献 46被引用数 197

ひとこと要約

IQN はリターン分布の全分位関数を学習し、分布的RLとリスク感度ポリシーを可能にし、Atari-57で強力な結果を達成し、Rainbowと競合する性能を示す。

ABSTRACT

In this work, we build on recent advances in distributional reinforcement learning to give a generally applicable, flexible, and state-of-the-art distributional variant of DQN. We achieve this by using quantile regression to approximate the full quantile function for the state-action return distribution. By reparameterizing a distribution over the sample space, this yields an implicitly defined return distribution and gives rise to a large class of risk-sensitive policies. We demonstrate improved performance on the 57 Atari 2600 games in the ALE, and use our algorithm's implicitly defined distributions to study the effects of risk-sensitive policies in Atari games.

研究の動機と目的

• 分布的RLを、平均だけでなく全リターン分布をモデル化することとして動機づける。
• 再パラメータ化を通じて暗黙的分位関数を学習する柔軟なIQNアプローチを提案する。
• 学習した分布に対して歪みリスク測度を適用できるようにして、リスク感度のあるポリシーを実現する。
• Atari-57での性能向上を実証し、ロバスト性とリスク感度の振る舞いを探る。

提案手法

• Z_tau(x,a) を、基底サンプル tau を U([0,1]) から微分可能な埋め込みを通じて再パラメータ化することによってモデル化する。
• Wasserstein 一致の目的を最小化する、ペアの tau サンプルに対して分位回帰損失を平均化する IQN 損失を用いて訓練する。
• 状態特徴と相互作用する tau 埋め込み φ(tau) を追加した DQN に似たアーキテクチャを用い、Z_tau(x,a) を生成する。
• 歪みリスク測度 beta を用いてリスク感度のあるポリシーを誘発し、tau を beta 経由でマッピングして歪んだ期待値を最適化する（例: CPW, Wang, CVaR）
• データ効率と学習速度のバランスをとるため、更新ごとに tau サンプル数を制御する N, N' のアーキテクチャ的変種とハイパーパラメータを探求する。

実験結果

リサーチクエスチョン

• RQ1 リターンの全分位関数を学習することは、QR-DQN のような固定分位法より分布的 RL を改善するか？
• RQ2 暗黙的分位表現は歪みリスク測度を介して効果的なリスク感度ポリシーを実現できるか？
• RQ3 アーキテクチャの選択とサンプリングパラメータ（N, N'）はデータ効率と長期的パフォーマンスにどう影響するか？
• RQ4 IQN は Atari-57 のような大規模ベンチマークで Rainbow や QR-DQN のような最先端手法と比較してどう動作するか？

主な発見

平均	中央値	人間との差	シード
228%	79%	0.334	1
434%	124%	0.178	1
701%	178%	0.152	1
1189%	230%	0.144	2
864%	193%	0.165	3
1019%	218%	0.141	5

• IQN は QR-DQN を著しく上回り、Atari-57 で Rainbow にほぼ匹敵する、直交的改善を組み合わせずに。
• IQN は 1000+% mean human-normalized score と堅牢な中央値パフォーマンスを達成し、IQN は難しいゲームで Rainbow とのギャップを縮めることが多い。
• tau サンプル数 N および N' を変えると、N=8, N'=8 が長期的な性能を強く示し、それ以降は収穫減少する。
• リスク回避的歪み測度は一部のゲームで性能を改善できるが、リスク追求的測度は他で劣る可能性があり、リスク嗜好の微妙な影響を示している。
• リスク中立評価の IQN でもベースライン手法を大幅に上回り、Atari-57 で Rainbow への残距離を半減させる。