[論文レビュー] Risk-Aware Transfer in Reinforcement Learning using Successor Features

Michael Gimelfarb, André Barreto+2 more|arXiv (Cornell University)|May 28, 2021

Gaussian Processes and Bayesian Inference参考文献 1被引用数 9

ひとこと要約

本稿では、リターンの分散をモデル化できるように従来の後続特徴（successor features）を拡張したリスク対応型後続特徴（RaSF）という新しいフレームワークを提案する。エントロピックなユーティリティ最適化と平均・分散近似を組み合わせることで、リスク中立な手法に比べて優れたタスク一般化性能とリスク低減効果を達成し、ナビゲーションおよびロボット制御タスクにおいて、標準的なSFやリスク回避型ベースラインを上回る性能を示した。

ABSTRACT

Sample efficiency and risk-awareness are central to the development of practical reinforcement learning (RL) for complex decision-making. The former can be addressed by transfer learning and the latter by optimizing some utility function of the return. However, the problem of transferring skills in a risk-aware manner is not well-understood. In this paper, we address the problem of risk-aware policy transfer between tasks in a common domain that differ only in their reward functions, in which risk is measured by the variance of reward streams. Our approach begins by extending the idea of generalized policy improvement to maximize entropic utilities, thus extending policy improvement via dynamic programming to sets of policies and levels of risk-aversion. Next, we extend the idea of successor features (SF), a value function representation that decouples the environment dynamics from the rewards, to capture the variance of returns. Our resulting risk-aware successor features (RaSF) integrate seamlessly within the RL framework, inherit the superior task generalization ability of SFs, and incorporate risk-awareness into the decision-making. Experiments on a discrete navigation domain and control of a simulated robotic arm demonstrate the ability of RaSFs to outperform alternative methods including SFs, when taking the risk of the learned policies into account.

研究の動機と目的

• 報酬関数が異なるタスク間でのリスク対応型ポリシー移行に関するギャップを埋めること。
• エントロピックなユーティリティ最大化を用いて一般化ポリシー改善（GPI）および一般化ポリシー評価（GPE）をリスク対応設定に拡張すること。
• リターンの分散を捉える後続特徴を構築し、タスク間でのリスク対応型一般化を可能にすること。
• 特にエントロピックなユーティリティに対して、GPIの理論的保証がリスク感受性の目的下でも成立することを保証すること。
• RaSFがリターンとリスクのトレードオフを改善しつつ、新規タスクにおいても強力な一般化性能を維持することを実証的に検証すること。

提案手法

• エントロピックなユーティリティを最大化する一般化ポリシー改善（GPI）を拡張し、ポリシー集合上で動的計画法を用いてリスク回避型ポリシー最適化を可能にする。
• リターン分布の平均と分散を共有の特徴表現を用いて表すリスク対応型後続特徴（RaSF）を導入する。
• リターン分布の十分統計量を直接計算するか、分布ラベルRL手法を用いて平均・分散近似を実行する。
• 残差ベース手法を用いて後続特徴表現における共分散行列を推定し、分散モデル化の精度を向上させる。
• リスク感受性の評価を組み込んだGPIを用いて、報酬関数が異なるタスク間でポリシーを移行させ、リスク制約下でも単調な改善を維持する。
• 共有された環境ダイナミクスの構造を活用して、確率的要因や関数近似誤差が存在する状況でも、価値推定（分散を含む）を未学習のタスクに一般化する。

実験結果

リサーチクエスチョン

• RQ1 エントロピックなユーティリティのようなリスク対応型目的下でも、一般化ポリシー改善（GPI）を最適性保証を維持できるように拡張できるか？
• RQ2 後続特徴をリターンの分散をモデル化できるように拡張し、リスク対応型ポリシー移行を可能にできるか？
• RQ3 後続特徴にリスク対応性を組み込むことで、リスク中立またはリスク回避型ベースラインに比べて、新規タスクにおける一般化性能の向上と失敗率の低減が達成できるか？
• RQ4 RaSFにおける平均・分散近似は、連続制御およびナビゲーションタスクの高分散・危険領域に対し、標準的な後続特徴と比較してどのように優れているか？
• RQ5 RaSFは複数のソースタスクを経て、未学習のテストタスクに対しても、どの程度正確に分散推定を維持できるか？

主な発見

• ロボットアームリーチャー領域のテストタスクにおいて、RaSFC51はRaC51およびSFC51に比べて顕著に低い失敗率を示した。特に高分散領域で顕著であった。
• ヒートマップによる平均・分散目的関数の分析から、RaSFC51はターゲット付近で浮遊するように学習しており、低分散領域ではターゲットからわずかに離れた位置で目的関数のピークが観察された。
• RaSFC51が学習した分散推定値は、8つの全テストタスクにわたり正確かつ良好に一般化された。一方、残差共分散推定を用いたSFDQNは分散を過大評価し、収束に失敗した。
• すべてのβ値において、正規化されたリターン対失敗率比が一貫して高く、RaSFC51はリターンとリスクのトレードオフにおいてRaC51を上回った。
• RaSFC51から導出されたGPIポリシーは、新規タスクへの一般化が効果的であり、ロールアウト結果から高分散領域を一貫して回避していることが確認された。これに対して、リスク中立型のSFC51はリスクを完全に無視していた。
• RaSFは後続特徴の一般化能力を、分散（2次のモーメント）まで拡張した。これにより、SFが期待リターンだけでなく、リターンのボラティリティ（変動性）の一般化も可能であることが示された。