[논문 리뷰] On the Power of Multitask Representation Learning in Linear MDP

Rui Lü, Gao Huang외 1명|arXiv (Cornell University)|2021. 06. 15.

Reinforcement Learning in Robotics참고 문헌 38인용 수 5

한 줄 요약

이 논문은 선형 마르코프 결정 과정(MDP)에서 다중작업 표현 학습에 대한 이론적 분석을 제안하며, T개의 소스 작업으로부터 공유되는 저차원 표현을 학습하면 새로운 타겟 작업에 대한 표본 복잡도가 크게 감소함을 보여준다. 주요 결과는 새로운 작업에 필요한 표본 수가 O(κdH⁴)로 스케일링되며, 여기서 κ는 새로운 최소 활성화 특징 풍부도(LAFA) 기준으로, 단일 작업 학습보다 증명 가능한 표본 효율성 향상을 제공한다.

ABSTRACT

While multitask representation learning has become a popular approach in reinforcement learning (RL), theoretical understanding of why and when it works remains limited. This paper presents analyses for the statistical benefit of multitask representation learning in linear Markov Decision Process (MDP) under a generative model. In this paper, we consider an agent to learn a representation function $ϕ$ out of a function class $Φ$ from $T$ source tasks with $N$ data per task, and then use the learned $\hatϕ$ to reduce the required number of sample for a new task. We first discover a \emph{Least-Activated-Feature-Abundance} (LAFA) criterion, denoted as $κ$, with which we prove that a straightforward least-square algorithm learns a policy which is $ ilde{O}(H^2\sqrt{\frac{\mathcal{C}(Φ)^2 κd}{NT}+\frac{κd}{n}})$ sub-optimal. Here $H$ is the planning horizon, $\mathcal{C}(Φ)$ is $Φ$'s complexity measure, $d$ is the dimension of the representation (usually $d\ll \mathcal{C}(Φ)$) and $n$ is the number of samples for the new task. Thus the required $n$ is $O(κd H^4)$ for the sub-optimality to be close to zero, which is much smaller than $O(\mathcal{C}(Φ)^2κd H^4)$ in the setting without multitask representation learning, whose sub-optimality gap is $ ilde{O}(H^2\sqrt{\frac{κ\mathcal{C}(Φ)^2d}{n}})$. This theoretically explains the power of multitask representation learning in reducing sample complexity. Further, we note that to ensure high sample efficiency, the LAFA criterion $κ$ should be small. In fact, $κ$ varies widely in magnitude depending on the different sampling distribution for new task. This indicates adaptive sampling technique is important to make $κ$ solely depend on $d$. Finally, we provide empirical results of a noisy grid-world environment to corroborate our theoretical findings.

연구 동기 및 목표

• 강화학습에서 다중작업 표현 학습이 표본 효율성을 어떻게 향상시키는지 이론적으로 이해하는 것.
• 다중작업 선형 MDP에서 표본 복잡도를 결정짓는 핵심 기준인 최소 활성화 특징 풍부도(LAFA)를 규명하는 것.
• T개의 소스 작업에서 학습된 표현을 활용하여 새로운 작업을 학습할 때 표본 복잡도가 증명 가능하게 감소하는 것을 확립하는 것.
• LAFA 기준 κ가 클 경우 적응형 표본 추출이 표본 복잡도를 낮게 유지하기 위해 필수적임을 보여주는 것.

제안 방법

• T개의 소스 작업 각각에서 N개의 표본을 사용하여 공유 표현 φ를 최소 제곱법으로 학습한다.
• 학습된 표현 φ̂를 사용하여 n개의 표본을 활용해 새로운 타겟 작업의 Q값을 추정한다.
• LAFA 기준 κ는 타겟 작업의 표본 추출 분포 하에서 학습된 표현의 기대 외적곱의 최소 고유값의 역수로 정의된다.
• 표현과 가치 함수의 추정 오차를 제어하기 위해 가우시안 폭 및 서브가우시안 폭 기법을 사용하여 이론적 경계를 유도한다.
• 분석 결과, 하위 최적성 갭은 Õ(H²√(κC(Φ)²d/(NT) + κd/n))로 스케일링되며, 여기서 C(Φ)는 표현 클래스의 복잡도를 측정한다.
• 이 방법은 비선형 표현으로 일반화되며, 무한한 행동 공간 설정에서 특징 추출기의 신뢰도 구간 분석을 포함한다.

실험 결과

연구 질문

• RQ1 다중작업 표현 학습이 선형 MDP에서 표본 복잡도를 증명 가능하게 감소시키는 조건은 무엇인가?
• RQ2 타겟 작업의 표본 추출 분포가 다중작업 표현 학습의 표본 효율성에 어떤 영향을 미치는가?
• RQ3 LAFA 기준 κ는 새로운 작업에 필요한 표본 수를 결정하는 데 어떤 역할을 하는가?
• RQ4 간단한 최소 제곱법 알고리즘이 공유 표현 학습을 통해 증명 가능한 표본 효율성 향상을 달성할 수 있는가?
• RQ5 κ가 클 경우 적응형 표본 추출이 왜 표본 복잡도를 낮게 유지하기 위해 필수적인가?

주요 결과

• 새로운 작업에 필요한 표본 수는 O(κdH⁴)로 스케일링되며, 이는 단일 작업 학습의 O(𝒞(Φ)²κdH⁴)보다 훨씬 작아 증명 가능한 표본 복잡도 감소를 보여준다.
• 학습된 정책의 하위 최적성 갭은 Õ(H²√(κ𝒞(Φ)²d/(NT) + κd/n))로 경계지며, 다중작업 학습이 오차 경계의 주요 항을 감소시킴을 보여준다.
• LAFA 기준 κ = λ⁻¹ₘᵢₙ(𝔼ₓ∼𝒟[φ̂(x)φ̂(x)ᵀ])는 표본 복잡도를 결정하며, 작은 κ가 높은 표본 효율성에 필수적임을 나타낸다.
• κ가 클 경우, 거의 완벽한 표현이라도 적응형 표본 추출을 통해 κ를 제어하지 않으면 표본 복잡도를 감소시킬 수 없다.
• 노이즈가 있는 격자 환경에서의 실증 결과는 이론적 예측이 맞음을 확인하며, 특히 표본 효율성이 표본 추출 분포에 민감함을 보여준다.