[論文レビュー] Tensor and Matrix Low-Rank Value-Function Approximation in Reinforcement Learning

Sergio Rozada, Antonio G. Marqués+1 more|arXiv (Cornell University)|Jan 21, 2022

Tensor decomposition and applications被引用数 4

ひとこと要約

本論文は、強化学習（RL）における価値関数（VF）推定のためのテンソルおよび行列の低ランク近似法を提案する。確率的オンラインアルゴリズムを用いることで、サンプルおよび計算複雑度を低減する。価値関数をテンソルとして表現し、PARAFAC分解を適用することで、特にハイウェイ環境のような高次元環境において、DQN や Q-学習と比較して収束が速く、パラメータ数も少ない。

ABSTRACT

Value-function (VF) approximation is a central problem in Reinforcement Learning (RL). Classical non-parametric VF estimation suffers from the curse of dimensionality. As a result, parsimonious parametric models have been adopted to approximate VFs in high-dimensional spaces, with most efforts being focused on linear and neural-network-based approaches. Differently, this paper puts forth a a parsimonious non-parametric approach, where we use stochastic low-rank algorithms to estimate the VF matrix in an online and model-free fashion. Furthermore, as VFs tend to be multi-dimensional, we propose replacing the classical VF matrix representation with a tensor (multi-way array) representation and, then, use the PARAFAC decomposition to design an online model-free tensor low-rank algorithm. Different versions of the algorithms are proposed, their complexity is analyzed, and their performance is assessed numerically using standardized RL environments.

研究の動機と目的

• 非パrametricな価値関数近似における次元の呪いを、低ランク構造を活用することで軽減すること。
• 低ランク行列およびテンソル分解を用いた、オンラインで、モデルフリーで、パラメータが少ない価値関数推定のためのアルゴリズムを開発すること。
• テンソル表現を用いて、行列ベースの低ランク手法を多次元の状態-行動空間へ一般化すること。
• DQN やテーブルベースの Q-学習といった深層 RL のベースラインと比較して、高次元環境におけるサンプルおよび計算効率を向上させること。
• 従来の手法では不可能であった、高次元 RL 問題において、非パラメトリックで解釈可能な価値関数推定を可能にすること。

提案手法

• 状態-行動行列を高次元配列に再形状することで、価値関数をテンソル（多次元配列）として表現する。
• 価値関数テンソルに低ランク構造を強制するために、PARAFAC（CANDECOMP）テンソル分解を適用する。
• 時系列差分学習の原則に従い、低ランク成分を更新するための確率的オンラインアルゴリズムを開発する。
• 交互に最小二乗法とインクリメンタル更新を用いて、オンライン学習中に低ランク構造を維持する。
• 精度と複雑度のバランスを取るために、異なるランクおよび解像度設定を持つアルゴリズムの複数のバリエーションを導入する。
• 連続的な状態-行動空間を、テンソル表現に適した離散グリッドにマッピングするための離散化戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 低ランク行列近似は、強化学習におけるオンライン価値関数推定のサンプルおよび計算効率を向上させることができるか？
• RQ2 高次元状態-行動空間において、テンソルベースの低ランク表現は、行列ベースおよびディープラーニングベースの手法をどのように上回るか？
• RQ3 標準的な RL 環境における収束速度および最終的パフォーマンスに、テンソルのランクと解像度が与える影響は何か？
• RQ4 確率的でオンラインな低ランクアルゴリズムは、DQN や Q-学習よりも収束が速く、より少ないサンプルで学習を達成できるか？
• RQ5 価値関数の低ランク構造は、高次元 RL 問題において、効率的で非パラメトリックな学習をどの程度可能にするか？

主な発見

• テンソル低ランク（TLR）アルゴリズムは、バッチサイズ 32 の DQN よりも速く収束し、大規模な状態-行動空間では Q-学習よりも著しく速い。
• 9次元の連続的状態を持つハイウェイ環境では、パラメータ数が少なく、収束も速いため、TLR 学習は DQN を上回る。
• より高いパラメータ数を有する TLR アルゴリズムが、1エピソードあたりの報酬が最も高く、収束も最も速かった。一方、1サンプルバッチの DQN はローカルミニマに陥った。
• DQN は同等の報酬を得るためのサンプル数が著しく多く必要であり、提案された TLR 法よりも高いサンプル複雑度を示した。
• すべての標準環境において、TLR および MLR アルゴリズムの1エピソードあたりのステップ数の中央値は、DQN や Q-学習よりも低かった。
• 累積報酬の分布から、特に大バッチ DQN の設定下で、TLR および MLR が Q-学習や DQN を一貫して上回った。