[논문 리뷰] Multi-Task Reinforcement Learning as a Hidden-Parameter Block MDP

Amy Zhang, Shagun Sodhani외 2명|arXiv (Cornell University)|2020. 07. 14.

Reinforcement Learning in Robotics참고 문헌 29인용 수 4

한 줄 요약

이 논문은 다중 작업 강화 학습을 숨겨진 파rameter 블록 MDP(HiP-BMDP)로 모델링하여 소수의 샘플에서의 샘플 효율성과 일반화 능력을 향상시키는 새로운 프레임워크인 HiP-BMDP를 제안한다. 공통된 구조를 통해 작업 간의 유사성을 활용하고, 통합된 동역학 모델과 표현을 통해 총 샘플 수에 따라 의존하는 더 날카운 샘플 복잡도 경계를 달성함으로써, 이전 방법들보다 실증적으로 뛰어난 성능을 보인다.

ABSTRACT

Multi-task reinforcement learning is a rich paradigm where information from previously seen environments can be leveraged for better performance and improved sample-efficiency in new environments. In this work, we leverage ideas of common structure underlying a family of Markov decision processes (MDPs) to improve performance in the few-shot regime. We use assumptions of structure from Hidden-Parameter MDPs and Block MDPs to propose a new framework, HiP-BMDP, and approach for learning a common representation and universal dynamics model. To this end, we provide transfer and generalization bounds based on task and state similarity, along with sample complexity bounds that depend on the aggregate number of samples across tasks, rather than the number of tasks, a significant improvement over prior work. To demonstrate the efficacy of the proposed method, we empirically compare and show improvements against other multi-task and meta-reinforcement learning baselines.

연구 동기 및 목표

• 작업 간 공통적인 구조적 패턴을 활용하여 다중 작업 강화 학습의 샘플 효율성과 일반화 능력을 향상시키기 위해.
• 각 작업당 가용 데이터가 제한된 소수의 샘플 환경에서 효과적으로 학습하는 데 도전하는 문제를 해결하기 위해.
• 다양한 구조적으로 유사한 MDPs 간에 일반화 가능한 통합 표현 및 동역학 모델을 개발하기 위해.
• 작업 및 상태 유사도에 따라 의존하는 전이 및 일반화에 대한 이론적 경계를 도출하기 위해.
• 샘플 복잡도를 작업 수가 아닌 총 샘플 수에 따라 스케일링하도록 줄이기 위해.

제안 방법

• 관련된 MDPs 간의 공통된 구조를 포착하기 위해 다중 작업 강화 학습을 숨겨진 파rameter 블록 MDP(HiP-BMDP)로 공식화한다.
• 각 블록의 상태 및 행동 간 공통 파rameter를 모델링하여 작업 간 일반화 가능한 통합 동역학 모델을 학습한다.
• 모든 작업 간 상태-행동 쌍을 통합된 표현 공간에 임bedding하여 지식 전이를 가능하게 한다.
• 작업 및 상태 유사도 측정 기준에 기반한 전이 및 일반화에 대한 이론적 경계를 유도한다.
• 샘플 복잡도 경계를 작업 수가 아닌 작업 간 총 샘플 수에 따라 스케일링하도록 설정한다.
• 공통된 표현 및 동역학 모델을 동시에 학습하기 위해 메타 최적화 전략을 활용한다.

실험 결과

연구 질문

• RQ1 가족 단위의 MDP들 간 공통적인 구조적 패턴을 어떻게 활용하여 다중 작업 강화 학습에서 샘플 효율성을 향상시킬 수 있는가?
• RQ2 이러한 구조화된 다중 작업 설정에서 전이 및 일반화에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ3 제안된 방법의 샘플 복잡도는 작업 수와 총 샘플 수에 따라 어떻게 스케일링되는가?
• RQ4 다양한 작업 간에 학습된 통합 동역학 모델이 소수의 샘플 환경에서 새로운, 알려지지 않은 작업으로 효과적으로 일반화될 수 있는가?
• RQ5 제안된 HiP-BMDP 프레임워크는 기존의 다중 작업 및 메타 강화 학습 기준선과 비교하여 실증적으로 어떻게 성능을 냈는가?

주요 결과

• 제안된 HiP-BMDP 프레임워크는 기존의 다중 작업 및 메타 강화 학습 기준선 대비 소수의 샘플 환경에서 샘플 효율성과 일반화 능력이 향상됨을 보였다.
• 이론적 경계는 전이 및 일반화 성능가 작업 및 상태 유사도에 따라 결정되며, 작업 수에 따라 결정되지 않음을 보여주었다.
• 샘플 복잡도는 작업 수가 아닌 총 샘플 수에 따라 스케일링되며, 이는 이전 연구 대비 중대한 개선이다.
• 실증 결과는 다양한 벤치마크 환경에서 일관된 성능 향상을 입증하였으며, 공통된 표현 및 통합 동역학 모델의 효과성을 검증하였다.
• 새로운 작업으로의 일반화가 잘 이루어져, 구조화된 MDP 가정에서 강력한 인덕티브 바이어스가 유도되었음을 시사한다.