[論文レビュー] Generalizing Across Multi-Objective Reward Functions in Deep Reinforcement Learning

Eli A. Friedman, Fred L. Fontaine|arXiv (Cornell University)|Sep 17, 2018

Mental Health Research Topics被引用数 7

ひとこと要約

本論文では、経験リプレイに代替の報酬重みを組み込むことで、深層強化学習エージェントが線形重み付きの多目的報酬関数にわたって一般化できる手法を提案する。この手法は、Hindsight Experience Replayを拡張し、1つのポリシーがリアルタイムで報酬重みの任意の組み合わせに適応可能にし、再訓練を伴わずに継続的な適応を可能にする。1次元および2次元の制御タスクにおいて、時間効率と燃料効率の間で変化するトレードオフに対して、効果的な一般化を示している。

ABSTRACT

Many reinforcement-learning researchers treat the reward function as a part of the environment, meaning that the agent can only know the reward of a state if it encounters that state in a trial run. However, we argue that this is an unnecessary limitation and instead, the reward function should be provided to the learning algorithm. The advantage is that the algorithm can then use the reward function to check the reward for states that the agent hasn't even encountered yet. In addition, the algorithm can simultaneously learn policies for multiple reward functions. For each state, the algorithm would calculate the reward using each of the reward functions and add the rewards to its experience replay dataset. The Hindsight Experience Replay algorithm developed by Andrychowicz et al. (2017) does just this, and learns to generalize across a distribution of sparse, goal-based rewards. We extend this algorithm to linearly-weighted, multi-objective rewards and learn a single policy that can generalize across all linear combinations of the multi-objective reward. Whereas other multi-objective algorithms teach the Q-function to generalize across the reward weights, our algorithm enables the policy to generalize, and can thus be used with continuous actions.

研究の動機と目的

• 深層強化学習において報酬関数を環境の固定要因として扱うという制限を克服すること。
• 報酬関数を学習アルゴリズムに組み込むことで、線形重み付きの多目的報酬の分布全体にわたるエージェントの一般化を可能にすること。
• 1つの訓練済みポリシーが、再訓練を伴わずにリアルタイムで新しい報酬重みの組み合わせに適応できることを可能にすること。
• Hindsight Experience Replayを多目的設定に拡張し、多様な報酬スカラー化にわたるオフポリシー学習を可能にすること。

提案手法

• この手法は、経験リプレイデータセットにおける状態表現の一部として報酬重みベクトルを統合する。
• リプレイバッファ内の各遷移について、同じ状態・行動ペアに異なる報酬重みを適用することで、k個の拡張経験を生成する。
• エージェントは、状態・行動ペアと報酬重みを入力として受け取り、Q値を出力する1つのポリシーを学習する。これにより、多目的報酬のすべての線形組み合わせにわたる一般化が可能になる。
• 拡張経験を本物の遷移と共にサンプリングするオフポリシー深層強化学習を用いる。
• 報酬関数が学習アルゴリズムに明示的に提供され、訪問されていない状態の報酬評価が可能になる。
• 連続的行動空間と互換性があり、既存のオフポリシー深層強化学習アルゴリズムに最小限の変更で適用可能である。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、多目的報酬関数のすべての線形組み合わせにわたって一般化できる1つのポリシーを学習できるか？
• RQ2 拡張率kが、異なる報酬重みの組み合わせにわたるエージェントの一般化能力にどのように影響するか？
• RQ3 再訓練を伴わずに、エージェントは新しい報酬重みにリアルタイムで行動を適応させられるか？
• RQ4 本手法は、各新しい報酬重みベクトルに対して再訓練を要する標準的手法を上回る性能を示すか？
• RQ5 報酬重み空間の次元数が増加するに従って、性能はどのようにスケーリングするか？

主な発見

• エージェントは、再訓練を伴わず、新しい報酬重みの組み合わせにリアルタイムで適応するポリシーを効果的に学習し、線形重み付きの多目的報酬にわたる一般化が成功した。
• 1次元のダブルインテグレータタスクでは、移動時間と燃料消費の最適なトレードオフを最小限のずれで近似するポリシーを学習した。
• 2次元のダブルインテグレータタスクでは、重みベクトルに応じて軸1または軸2を適切に優先することができ、次元ごとの目的の分離を学習していることが示された。
• 1次元環境では最適な拡張率kが2であったことが判明し、十分な経験の多様性と学習効率のバランスが取れていることを示している。
• 本手法により、再訓練を伴わず新しい報酬重みに継続的に適応可能となり、異なる好みの設定に対して繰り返しポリシー学習の必要性が著しく減少した。
• 結果から、報酬重みにわたるポリシーの一般化は、高次元の重み空間であっても、既存の深層強化学習フレームワークへの最小限の変更で実現可能で効果的であることが示された。