[論文レビュー] Harnessing Structures for Value-Based Planning and Reinforcement Learning

Yuzhe Yang, Guo Zhang+2 more|arXiv (Cornell University)|Apr 30, 2020

Reinforcement Learning in Robotics参考文献 30被引用数 4

ひとこと要約

本論文では、値ベースの計画法およびディープ強化学習における状態行動価値関数（Q関数）の低ランク構造を、行列推定（ME）技術を用いて活用する手法を提案する。この内在的な構造を活用することで、制御タスクおよびアタリゲームにおいて、サンプル効率と性能が向上し、多様な値ベースRLアルゴリズムで一貫した向上効果を達成する。

ABSTRACT

Value-based methods constitute a fundamental methodology in planning and deep reinforcement learning (RL). In this paper, we propose to exploit the underlying structures of the state-action value function, i.e., Q function, for both planning and deep RL. In particular, if the underlying system dynamics lead to some global structures of the Q function, one should be capable of inferring the function better by leveraging such structures. Specifically, we investigate the low-rank structure, which widely exists for big data matrices. We verify empirically the existence of low-rank Q functions in the context of control and deep RL tasks (Atari games). As our key contribution, by leveraging Matrix Estimation (ME) techniques, we propose a general framework to exploit the underlying low-rank structure in Q functions, leading to a more efficient planning procedure for classical control, and additionally, a simple scheme that can be applied to any value-based RL techniques to consistently achieve better performance on ''low-rank'' tasks. Extensive experiments on control tasks and Atari games confirm the efficacy of our approach.

研究の動機と目的

• 制御およびディープRLタスクにおけるQ関数に低ランク構造が存在するかどうかを調査すること。
• 低ランクQ関数構造を活用する汎用フレームワークを構築し、計画およびRLの性能を向上させること。
• 内在する行列構造を活用することで、古典的制御およびディープRLにおけるサンプル効率を向上させること。
• 既存の値ベースRLアルゴリズムに対して、即座に統合可能な強化手法を提供すること。

提案手法

• 本手法は、行列推定（ME）技術を用いてQ関数推定問題を行列補完問題として定式化する。
• Q関数行列が低ランク構造を示すものと仮定する。これは大規模データ行列において一般的な性質である。
• 標準的なQ関数推定を低ランク近似に置き換えることで、MEを値ベースの計画およびRLに統合する。
• 本手法は任意の値ベースRLアルゴリズムと互換性があり、アーキテクチャの変更なしに一貫した性能向上を実現できる。
• 制御環境およびアタリゲームを用いた実験により、低ランク構造の有無と性能向上の有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 制御およびディープRLタスクにおけるQ関数に低ランク構造が存在するか？
• RQ2 行列推定技術は、低ランクQ関数を効果的に活用して計画およびRLの性能を向上させることができるか？
• RQ3 提案手法は、多様な値ベースRLアルゴリズムにおいて、どのようにサンプル効率と性能を向上させるか？
• RQ4 低ランク構造は、値ベース学習における一般化性能および収束性にどのような影響を与えるか？

主な発見

• 実験的結果により、制御タスクおよびアタリゲームにおけるQ関数に低ランク構造が存在することが確認された。
• 提案されたMEベースのフレームワークは、Q関数の低ランク構造を活用することで、計画効率を向上させた。
• 本手法は、低ランクタスクにおける複数の値ベースRLアルゴリズムで一貫した性能向上を達成した。
• 本手法はサンプル効率を向上させ、高い性能に到達するための相互作用回数を削減した。