[論文レビュー] Understanding the Effects of Dataset Characteristics on Offline Reinforcement Learning

Kajetan Schweighofer, Markus Hofmarcher+5 more|arXiv (Cornell University)|Nov 8, 2021

Reinforcement Learning in Robotics参考文献 14被引用数 4

ひとこと要約

本論文は、離散的行動環境におけるオフライン強化学習性能に与えるデータセット特性——特に軌道品質（TQ）と状態-行動カバレッジ（SACo）——の影響を調査する。TQが高く、SACoが高いデータセットでは、オフポリシーのDeep Q-Network（DQN）変種は高いSACoを必要とするが、行動コーディング（BC）は最高のオフラインRLアルゴリズムと同等またはそれを上回る性能を発揮することが判明した。

ABSTRACT

In real world, affecting the environment by a weak policy can be expensive or very risky, therefore hampers real world applications of reinforcement learning. Offline Reinforcement Learning (RL) can learn policies from a given dataset without interacting with the environment. However, the dataset is the only source of information for an Offline RL algorithm and determines the performance of the learned policy. We still lack studies on how dataset characteristics influence different Offline RL algorithms. Therefore, we conducted a comprehensive empirical analysis of how dataset characteristics effect the performance of Offline RL algorithms for discrete action environments. A dataset is characterized by two metrics: (1) the average dataset return measured by the Trajectory Quality (TQ) and (2) the coverage measured by the State-Action Coverage (SACo). We found that variants of the off-policy Deep Q-Network family require datasets with high SACo to perform well. Algorithms that constrain the learned policy towards the given dataset perform well for datasets with high TQ or SACo. For datasets with high TQ, Behavior Cloning outperforms or performs similarly to the best Offline RL algorithms.

研究の動機と目的

• データセット特性がオフライン強化学習性能に与える影響を理解すること。
• 特定のデータセット特性に対して最も感受性を示すアルゴリズムファミリーを同定すること。
• さまざまなデータセット条件下での行動コーディングとオフラインRLアルゴリズムの相対的性能を評価すること。
• オフラインRLにおけるデータセットのキュレーションとアルゴリズム選定のための実証的ガイドラインを提供すること。

提案手法

• 本研究は、軌道品質（TQ）および状態-行動カバレッジ（SACo）に制御された変動を加えたデータセットを用いて、オフラインRLアルゴリズムの性能を評価した。
• TQはデータセットに含まれる軌道の平均リターンを測定するのに対し、SACoはカバーされる状態-行動ペアの多様性を定量化する。
• 分析は主に離散的行動環境に限定され、オフポリシーのDQN変種と行動コーディングを比較した。
• 性能は、各データセットから学習された最終ポリシーのリターンによって測定された。
• ポリシーをデータセットの分布に近づけることを制約するアルゴリズムは、データセットタイプにわたるロバストネスを評価した。
• 一般化可能性を確保するため、複数の環境で実証的評価が実施された。

実験結果

リサーチクエスチョン

• RQ1 軌道品質（TQ）は、オフラインRLアルゴリズムの性能にどのように影響するか？
• RQ2 状態-行動カバレッジ（SACo）は、オフポリシーDQN変種の性能にどのように影響するか？
• RQ3 どのようなデータセット条件下で行動コーディングが最先端のオフラインRLアルゴリズムを上回るか、または同等の性能を発揮するか？
• RQ4 どのアルゴリズムファミリーが低TQまたは低SACoに対して最も感受性を示すか？
• RQ5 どのデータセット特性が成功したオフラインポリシー学習を最も予測可能にするか？

主な発見

• オフポリシーDQN変種は、強力な性能を発揮するためには高い状態-行動カバレッジ（SACo）を必要とする。
• データセット分布に近づけることを制約するアルゴリズムは、TQまたはSACoのいずれかが高い場合に良好な性能を発揮する。
• 高い軌道品質（TQ）を持つデータセットでは、行動コーディングが最高のオフラインRLアルゴリズムと同等またはそれを上回る性能を発揮する。
• TQが高くさえあれば、SACoが低くても行動コーディングは最高の性能を達成できる。
• オフラインRLアルゴリズムの性能は、特定のデータセット特性、特にTQとSACoに強く依存する。
• 特定のデータセットタイプにかかわらず、常に他のアルゴリズムを上回る1つのアルゴリズムは存在せず、データセットに応じたアルゴリズム選定の重要性が浮き彫りになった。