[論文レビュー] Dynamic Weights in Multi-Objective Deep Reinforcement Learning

Axel Abels, Diederik D.M. Roijers+3 more|arXiv (Cornell University)|Sep 20, 2018

Reinforcement Learning in Robotics被引用数 41

ひとこと要約

本論文は、Weight-conditionedな多目的Q値を出力する Conditioned Network (CN) と、ダイナミックウェイト MORL における非定常性に対処する Diverse Experience Replay (DER) を導入し、Minecart および DST におけるウェイト変更シナリオで DER を併用した CN が適応されたベースラインを上回ることを示す。

ABSTRACT

Many real-world decision problems are characterized by multiple conflicting objectives which must be balanced based on their relative importance. In the dynamic weights setting the relative importance changes over time and specialized algorithms that deal with such change, such as a tabular Reinforcement Learning (RL) algorithm by Natarajan and Tadepalli (2005), are required. However, this earlier work is not feasible for RL settings that necessitate the use of function approximators. We generalize across weight changes and high-dimensional inputs by proposing a multi-objective Q-network whose outputs are conditioned on the relative importance of objectives and we introduce Diverse Experience Replay (DER) to counter the inherent non-stationarity of the Dynamic Weights setting. We perform an extensive experimental evaluation and compare our methods to adapted algorithms from Deep Multi-Task/Multi-Objective Reinforcement Learning and show that our proposed network in combination with DER dominates these adapted algorithms across weight change scenarios and problem domains.

研究の動機と目的

• 目的の重要度が時間とともに変化するダイナミックウェイト設定に対処する。
• 重みベクトルと高次元入力全体に対して一般化するスケーラブルな深層 MORL アプローチを開発する。
• 非定常な重みシナリオにおけるサンプル効率を改善し、リプレイバッファのバイアスを緩和する。
• さまざまな regime における重みの変化へ迅速に適応し、最適方策へ収束させる。

提案手法

• Weight条件付きの Q 値ベクトルを出力する Conditioned Network (CN) を導入する。
• 現在の学習と方策保持のバランスをとるため、アクティブな重みと過去の重みを毎経験時にランダムにサンプルして使用する更新規則で CN を訓練する。
• 多様性に基づくメモリと軌跡署名を用いて、さまざまな重みベクトルにとって有益な軌跡を維持する Diverse Experience Replay (DER) を提案する。
• 連続状態空間、確率的転移、遅延報酬を持つ Minecart ベンチマークを用いて、重み変更シナリオを評価する。
• CN を UVFA、Multi-Network (MN)、ベースライン MO、およびスパース/通常の重み変更 regime 下の ablated CN variant (CN-ACTIVE, CN-UVFA) と比較する。
• 必要に応じて DER の有無で標準的な経験リプレイ (SER) を評価し、優先度付きリプレイを組み込む。

実験結果

リサーチクエスチョン

• RQ1 動的 MORL で重みベクトルが変化する場合、重み条件付き深層Qネットワークは一般化できるか。
• RQ2 Diversity Experience Replay はサンプル効率を改善し、重み変更シナリオでバッファのバイアスを緩和するか。
• RQ3 CN はスパース vs 通常の重み変更設定において、適応ベースライン (UVFA, MN, MO) と比較してどのようか。
• RQ4 CN は急激な重み変更に対して頑健で、頻繁に重みが変わる場合でも最適方策へ収束できるか。

主な発見

• CN は重み変更シナリオと問題領域を問わず、適応アルゴリズムを支配する。
• DER は replay バッファ内の多様で有益な軌跡を維持することで、すべての試験済みアルゴリズムの性能を向上させる。
• CN はスパースな急激な重み変更へ迅速に適応し、規則的な重み変更の下で良好な方策へ収束する。
• MN は正確な Q 値へ収束するのに長い訓練時間を要し、オンラインの動的重みにおける実用的利点を制限する。
• CN-ACTIVE は過去の方策を保存する機構が欠如しておりしばしば不調、CN-UVFA は DER なしでは広い重みサンプルでの学習のために苦戦する。
• Minecart および DST ベンチマーク全体で、DER を用いた CN はベースラインと比較して最良またはほぼ最良の後悔性能を達成する。