[論文レビュー] On the Power of Multitask Representation Learning in Linear MDP

Rui Lü, Gao Huang+1 more|arXiv (Cornell University)|Jun 15, 2021

Reinforcement Learning in Robotics参考文献 38被引用数 5

ひとこと要約

本稿は線形マルコフ決定過程（MDP）におけるマルチタスク表現学習の理論的分析を提案し、T個のソースタスクから共有の低次元表現を学習することで、新たなターゲットタスクのためのサンプル複雑性が顕著に低減することを示している。主な結果として、新しいタスクに必要なサンプル数がO(κdH⁴)にスケーリングすることを示しており、κは新しい最小活性化特徴豊富度（LAFA）基準と呼ばれる新たな基準である。これは、単一タスク学習と比較して、証明可能なサンプル効率の向上を示している。

ABSTRACT

While multitask representation learning has become a popular approach in reinforcement learning (RL), theoretical understanding of why and when it works remains limited. This paper presents analyses for the statistical benefit of multitask representation learning in linear Markov Decision Process (MDP) under a generative model. In this paper, we consider an agent to learn a representation function $ϕ$ out of a function class $Φ$ from $T$ source tasks with $N$ data per task, and then use the learned $\hatϕ$ to reduce the required number of sample for a new task. We first discover a \emph{Least-Activated-Feature-Abundance} (LAFA) criterion, denoted as $κ$, with which we prove that a straightforward least-square algorithm learns a policy which is $ ilde{O}(H^2\sqrt{\frac{\mathcal{C}(Φ)^2 κd}{NT}+\frac{κd}{n}})$ sub-optimal. Here $H$ is the planning horizon, $\mathcal{C}(Φ)$ is $Φ$'s complexity measure, $d$ is the dimension of the representation (usually $d\ll \mathcal{C}(Φ)$) and $n$ is the number of samples for the new task. Thus the required $n$ is $O(κd H^4)$ for the sub-optimality to be close to zero, which is much smaller than $O(\mathcal{C}(Φ)^2κd H^4)$ in the setting without multitask representation learning, whose sub-optimality gap is $ ilde{O}(H^2\sqrt{\frac{κ\mathcal{C}(Φ)^2d}{n}})$. This theoretically explains the power of multitask representation learning in reducing sample complexity. Further, we note that to ensure high sample efficiency, the LAFA criterion $κ$ should be small. In fact, $κ$ varies widely in magnitude depending on the different sampling distribution for new task. This indicates adaptive sampling technique is important to make $κ$ solely depend on $d$. Finally, we provide empirical results of a noisy grid-world environment to corroborate our theoretical findings.

研究の動機と目的

• マルチタスク表現学習が強化学習においてサンプル効率をどのように向上させるかを理論的に理解すること。
• マルチタスク線形MDPにおけるサンプル複雑性を支配する重要な基準「最小活性化特徴豊富度（LAFA）」を同定すること。
• T個のソースタスクから学習した表現を活用することで、新たなタスクを学習する際のサンプル複雑性が証明可能に低減されることを確立すること。
• LAFA基準κが大きい場合に、適応的サンプリングがサンプル複雑性を低く保つために不可欠であることを示すこと。

提案手法

• T個のソースタスク（各タスクにN個のサンプル）から共有表現φを最小二乗法で学習する。
• 学習された表現φ̂ を用いて、新たなターゲットタスクのQ値をn個のサンプルで推定する。
• LAFA基準κは、ターゲットタスクのサンプリング分布における学習済み表現の期待外積の最小固有値の逆数として定義される。
• 推定誤差の制御のため、ガウス幅および部分ガウス幅の技術を用いて理論的バウンディングを導出する。
• 分析により、サブ最適性ギャップが Õ(H²√(κC(Φ)²d/(NT) + κd/n)) にスケーリングすることが示された。ここでC(Φ)は表現クラスの複雑さを測る。
• 本手法は非線形表現へ一般化可能であり、無限行動設定における特徴抽出器の信頼区間解析も含む。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク表現学習が線形MDPにおいて、どのような条件下でサンプル複雑性を証明可能に低減するのか？
• RQ2 ターゲットタスクのサンプリング分布が、マルチタスク表現学習のサンプル効率にどのように影響するか？
• RQ3 LAFA基準κが、新たなタスクに必要なサンプル数を決定する上で果たす役割は何か？
• RQ4 単純な最小二乗法アルゴリズムが、共有表現学習を通じて、証明可能なサンプル効率の向上を達成できるか？
• RQ5 κが大きい場合に、なぜ適応的サンプリングがサンプル複雑性を低く保つために必要となるのか？

主な発見

• 新たなタスクに必要なサンプル数はO(κdH⁴)にスケーリングされ、これは単一タスク学習におけるO(𝒞(Φ)²κdH⁴)と比較して顕著に小さい。これにより、サンプル複雑性の低減が証明された。
• 学習済み方策のサブ最適性ギャップは Õ(H²√(κ𝒞(Φ)²d/(NT) + κd/n)) で有界であり、マルチタスク学習が誤差バウンディングの主要項を低減することを示している。
• LAFA基準κ = λ⁻¹ₘᵢₙ(𝔼ₓ∼𝒟[φ̂(x)φ̂(x)ᵀ]) がサンプル複雑性を決定し、小さなκが高いサンプル効率に不可欠であることが分かった。
• κが大きい場合、ほぼ完璧な表現であっても、κを制御するための適応的サンプリングがなければ、サンプル複雑性を低減できない。
• ノイズのあるグリッドワールド環境における実験結果は、理論的予測が成り立つことを確認しており、特にサンプル効率がサンプリング分布に敏感であることが示された。