[論文レビュー] A Distributional View on Multi-Objective Policy Optimization

Abbas Abdolmaleki, Sandy H. Huang+8 more|arXiv (Cornell University)|May 15, 2020

Advanced Multi-Objective Optimization Algorithms被引用数 23

ひとこと要約

この論文は、各目的関数ごとに別々の行動分布を学習し、教師あり方策学習を用いてそれらを組み合わせることで、スケール不変で分布に基づく多目的強化学習（MORL）のアプローチを提案する。各目的関数固有の分布と現在の方策との間のKLダイバージェンスを制約することで、スカラライゼーションを必要とせず、柔軟で好みに基づいたトレードオフを実現でき、高次元連続制御タスクにおいてパレート最適な方策を達成する。

ABSTRACT

Many real-world problems require trading off multiple competing objectives. However, these objectives are often in different units and/or scales, which can make it challenging for practitioners to express numerical preferences over objectives in their native units. In this paper we propose a novel algorithm for multi-objective reinforcement learning that enables setting desired preferences for objectives in a scale-invariant way. We propose to learn an action distribution for each objective, and we use supervised learning to fit a parametric policy to a combination of these distributions. We demonstrate the effectiveness of our approach on challenging high-dimensional real and simulated robotics tasks, and show that setting different preferences in our framework allows us to trace out the space of nondominated solutions.

研究の動機と目的

• 多目的強化学習（MORL）において、異なる単位やスケールの目的関数の間での好みを表現する課題に対処すること。
• 異なる単位を持つ目的関数のスカラライゼーションを回避するため、スケール不変な方法で実践者が好みを設定できる手法を開発すること。
• 教師あり学習を用いて目的固有の行動分布を組み合わせることで、複数の目的をバランスさせる1つの方策を学習すること。
• 好みの制約を変化させることで、非優位な解の全パレートフロントをトレースすること。

提案手法

• 本手法は、強化学習を推論として捉える視点に基づく変分推論フレームワークを用いて、各目的関数ごとに別々の行動分布を学習する。
• 各目的固有の分布は、期待報酬を最大化すると同時に、現在の方策との相対KLダイバージェンスを制約することで導出され、制約の強さが好みを表現する。
• 更新された方策は、これらの目的固有の分布の重み付き組み合わせにパラメトリックな方策をフィットさせることで、教師あり学習によって得られる。
• KLダイバージェンスの制約はハードバインディングとして実装され、制約ハイパーパrameter εk が各目的の影響を制御する。
• 本手法は、オフポリシー（MO-MPO）およびオンポリシー（MO-V-MPO）の強化学習アルゴリズムと両立可能であり、ベースアルゴリズムとしてMPOおよびV-MPOを用いる。
• 報酬空間ではなく分布空間で動作するため、報酬スケールに依存せず、スカラライゼーションを回避する。

実験結果

リサーチクエスチョン

• RQ1 分布ベースのMORLアプローチは、異なる単位やスケールの目的関数のスカラライゼーションを必要とせず、スケール不変な好みの指定を可能にするか？
• RQ2 提案手法は、高次元連続制御タスクにおいて、非優位な方策のパレートフロントをどれほど効果的にトレースできるか？
• RQ3 本手法は、方策の質と好みの指定に対するロバストネスの観点で、標準的なスカラライズド・アプローチを上回るか？
• RQ4 本手法は、MPOやV-MPOのようなオフポリシーおよびオンポリシーの深層強化学習アルゴリズムと効果的に組み合わせられるか？

主な発見

• 提案手法は、ベンチマークMORLタスクにおいて、非優位な解の全空間を効果的にトレースし、多様でパレート最適な方策を生成できる能力を示した。
• MO-MPOおよびMO-V-MPOは、複数の高次元連続制御環境において、シミュレーションおよび実世界のロボット工学タスクでスカラライズドベースラインを上回った。
• 特に、目的関数が著しく異なるスケールや単位にある場合、本手法はスカラライズド・アプローチよりも優れた方策性能を達成した。
• KLダイバージェンスの制約を用いることで、効果的で安定した好みの制御が可能となり、相対的な制約値（εk）が目的間の望ましいトレードオフを直接表現できた。
• 本手法は強化学習を推論として捉える理論的枠組みに基づいており、MORLにおけるスカラライゼーションの原理的代替手段を提供する。
• 実験的結果から、本手法は、20以上の行動次元を持つような複雑なロボット制御タスクにおいても、良好な一般化性能を示した。