[論文レビュー] The Impact of Task Underspecification in Evaluating Deep Reinforcement Learning

Vindula Jayawardana, Catherine So–kum Tang+3 more|arXiv (Cornell University)|Oct 16, 2022

Traffic control and management被引用数 4

ひとこと要約

この論文は、深層強化学習（DRL）の評価における「タスクの不十分な定義問題」を特定し、点的なMDP（マーカス決定過程）に依存するのではなく、パラメータ化されたMDPの族を用いることで、誤った性能順位付けが生じることを示している。カートポール、ペンドゥラム、交通信号制御の例を通じて、MDPの分布に応じてメソッドの順位付けが著しく変化することを示しており、これは実証的厳密性を損ない、最先端の主張の妥当性を揺るがすものである。

ABSTRACT

Evaluations of Deep Reinforcement Learning (DRL) methods are an integral part of scientific progress of the field. Beyond designing DRL methods for general intelligence, designing task-specific methods is becoming increasingly prominent for real-world applications. In these settings, the standard evaluation practice involves using a few instances of Markov Decision Processes (MDPs) to represent the task. However, many tasks induce a large family of MDPs owing to variations in the underlying environment, particularly in real-world contexts. For example, in traffic signal control, variations may stem from intersection geometries and traffic flow levels. The select MDP instances may thus inadvertently cause overfitting, lacking the statistical power to draw conclusions about the method's true performance across the family. In this article, we augment DRL evaluations to consider parameterized families of MDPs. We show that in comparison to evaluating DRL methods on select MDP instances, evaluating the MDP family often yields a substantially different relative ranking of methods, casting doubt on what methods should be considered state-of-the-art. We validate this phenomenon in standard control benchmarks and the real-world application of traffic signal control. At the same time, we show that accurately evaluating on an MDP family is nontrivial. Overall, this work identifies new challenges for empirical rigor in reinforcement learning, especially as the outcomes of DRL trickle into downstream decision-making.

研究の動機と目的

• DRLの評価において、少数の点的なMDPを任意に選ぶことで、メソッドの性能に関する偏った結論が導かれるメカニズムを調査すること。
• 孤立したインスタンスではなく、MDPの族全体でDRLメソッドを評価することで、メソッドの相対的順位付けが劇的に変化することを実証すること。
• 特定のMDPインスタンスに最適化されたメソッドが、より広範なタスク族ではなく、評価の過適合（overfitting）のリスクを浮き彫りにすること。
• 高リスクな意思決定を伴う実世界の応用に強化学習が導入される中で、DRLの評価におけるより良い実証的厳密性の必要性を提起すること。
• 現在のベンチマーク手法が、タスク内での真のアルゴリズムの一般化能力を反映していない可能性を示し、MDP族ベースの評価手法の採用を促すこと。

提案手法

• タスクをパラメータ化されたMDPの族としてモデル化することで、標準的なDRL評価を拡張し、環境パラメータ（例：交差点の形状、交通量、レーン数）がタスクの変異を定義する。
• これらのパラメータ化された族からサンプリングすることで、多様なMDPインスタンスを生成し、CARLベンチマークスイートではカートポールで576個、ペンドゥラムで180個のMDPを生成した。
• 各族内での点的なMDPの異なる確率分布に対して、複数のDRLアルゴリズム（PPO、TRPO、SAC、TD3）の順位安定性を評価する。
• 正規化された性能スコアを用いて、異なるMDP構成における順位のズレを定量化し、メソッド間の比較を可能にする。
• 実世界の交通信号制御と標準的な制御ベンチマークにおけるアブレーションスタディを実施し、MDP族評価の影響を検証する。
• 1つのタスクから1つのMDPを組み合わせ、すべての組み合わせに対して順位頻度を計算することで、点的なMDP選択がタスク間一般化評価に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 点的なMDPの選択が、1つのタスク内におけるDRLアルゴリズムの相対的性能順位にどのように影響するか？
• RQ2 点的なMDP評価と比較して、MDPの族全体でDRLメソッドを評価することで、どのメソッドが最先端とされるかという結論がどの程度変化するか？
• RQ3 標準ベンチマーク（例：ペンドゥラム、ハーフチーター、マウンテンカー）におけるMDPインスタンスの選択が、DRLメソッドの感受性と一般化能力の認識に著しく影響を与えるか？
• RQ4 MDP族の使用が、交通信号制御のような実世界の応用におけるDRL評価の信頼性と統計的パワーを向上させられるか？
• RQ5 交通流入、交差点の形状、制御パラメータなどの環境パラメータの変動に対して、DRLメソッドの順位付けはどの程度感度が高いのか？

主な発見

• カートポールタスクでは、$D_1$分布下でPPOが1位であったが、$D_5$分布下では最後位に下がり、TRPOが後者でPPOを上回った。これはMDP分布に依存した順位の完全な逆転を示している。
• ペンドゥラムタスクでも、異なるMDP分布間で同様の順位のシフトが観察され、メソッドの性能が環境パラメータ設定に極めて敏感であることが示された。
• タスク全体（ペンドゥラム、ハーフチーター、マウンテンカー）で評価した結果、SACはMDP組み合わせ試行の42.56％で1位であった一方、PPOは18.75％でのみ1位であった。これは、標準ベンチマークがメソッドの優位性を歪めて表現している可能性を示している。
• MDPの組み合わせ評価においてTD3は47.85％の試行で最後位にランクされた。これは、その性能が異なる環境設定に対して極めて不安定であることを示している。
• 本研究では、標準ベンチマークで用いられる点的なMDPの選択が、メソッド順位に顕著な影響を与えることが判明した。これは、現在の評価手法が真の一般化能力を反映していない可能性を示唆している。
• 結果から、1つまたは少数のMDPインスタンスでの評価に依存することは、統計的パワーが不十分で、特定の設定への過適合のリスクを伴い、DRL研究における実証的厳密性を損なう可能性があることが示唆された。