[論文レビュー] Hyperbolic Discounting and Learning over Multiple Horizons

William Fedus, Carles Gelada+3 more|arXiv (Cornell University)|Feb 19, 2019

Mathematical and Theoretical Analysis参考文献 67被引用数 52

ひとこと要約

本論文は、複数の horizon にわたり多くの指数割引Q値を集約することで、強化学習における双曲的（非指数的）割引を実装する実用的手法を提案し、複数ハorizon学習が補助タスクとしても性能を改善することを示している。

ABSTRACT

Reinforcement learning (RL) typically defines a discount factor as part of the Markov Decision Process. The discount factor values future rewards by an exponential scheme that leads to theoretical convergence guarantees of the Bellman equation. However, evidence from psychology, economics and neuroscience suggests that humans and animals instead have hyperbolic time-preferences. In this work we revisit the fundamentals of discounting in RL and bridge this disconnect by implementing an RL agent that acts via hyperbolic discounting. We demonstrate that a simple approach approximates hyperbolic discount functions while still using familiar temporal-difference learning techniques in RL. Additionally, and independent of hyperbolic discounting, we make a surprising discovery that simultaneously learning value functions over multiple time-horizons is an effective auxiliary task which often improves over a strong value-based RL agent, Rainbow.

研究の動機と目的

• RLにおける単一の指数割引の使用を問い、実証的な双曲割引に一致する時間嗜好モデルを動機づける。
• 双曲割引は、指数割引の積分を用いてTD学習内で近似できることを示す。
• 複数の時間的視野Q関数を介して雙曲Q値を計算する、実用的な深層学習アプローチを示す。
• ハザードベースの解釈と、ハザード率事前分布と割引関数との等価性を調査する。
• 複雑環境において、基準となるRLエージェントを改善する複数時間的視野の補助タスクの可能性を評価する。

提案手法

• リスクへのロバスト性としての割引を正当化するために、ハザードと割引関数の等価性を形式化する。
• ガンマ値の連続体全体にわたる指数Q値の積分として、雙曲Q値を導出する。
• リーマン和風の重み付けを用いた有限個のガンマ値による実用的近似を提案する。
• 異なるガンマで割引されるがパラメータを共有する複数のQ値を学習する深層ネットワークを用いる。
• 指数重み付け条件を確立し、双曲割引を超える一般化を図る。
• Pathworld と ALE で手法を適用し、性能向上と補助タスクの利点を評価する。

実験結果

リサーチクエスチョン

• RQ1 標準的なTD学習から、指数割引値を集約することで双曲割引やその他の非指数割引を計算できるか。
• RQ2 異なる視野で複数のQ値を学習することは、Rainbow のような強力な基線を超えた有益な補助タスクとなるか。
• RQ3 ハザード不確実性や重大な時間的トレードオフの下で、いつ双曲割引が有利になるか。
• RQ4 MDPにおけるハザード事前分布と割引関数の等価性は何か、そしてそれが堅牢な方策学習をどう導くか。
• RQ5 高次元のRL領域で、有限 horizon の gamma近似はどの程度双曲割引を捉えられるか。

主な発見

• 双曲割引は指数割引の積分として計算でき、TD法が非指数的な嗜好を近似できる。
• 適切な重み付けとともに有限集合の指数割引Q値は、実践的に双曲Q値を近似できる。
• 異なる視野で複数のQ値を学習することは有効な補助タスクとなり、ALE の強力な基線よりも性能を向上させる。
• Pathworld 環境は、ハザード不確実性と非自明な時間的選択の下で双曲割引が有利であることを示している。
• ハザード事前分布は特定の割引関数に対応し、RL におけるリスクモデリングと割引の間に原理的な結びつきを提供する。
• この手法は、環境が不確かなハザードと報酬実現リスクを示す場合に堅牢な方策を生み出す。