[논문 리뷰] Joint State-Action Embedding for Efficient Reinforcement Learning

Paul J. Pritz, Liang Ma외 1명|arXiv (Cornell University)|2020. 10. 09.

Reinforcement Learning in Robotics인용 수 2

한 줄 요약

이 논문은 모델 기반 접근 방식을 사용하여 상태와 행동의 공유 표현을 학습함으로써 강화학습에서 일반화 성능을 향상시키는 공동 상태-행동 임베딩 방법을 제안한다. 동시에 두 공간 내 유사성을 포착함으로써, 큰 상태 및 행동 공간을 가진 이산 도메인에서 최신 기술 대비 뛰어난 성능을 달성한다. 게임 및 추천 시스템 환경에서 이를 입증하였다.

ABSTRACT

While reinforcement learning has achieved considerable successes in recent years, state-of-the-art models are often still limited by the size of state and action spaces. Model-free reinforcement learning approaches use some form of state representations and the latest work has explored embedding techniques for actions, both with the aim of achieving better generalization and applicability. However, these approaches consider only states or actions, ignoring the interaction between them when generating embedded representations. In this work, we propose a new approach for jointly embedding states and actions that combines aspects of model-free and model-based reinforcement learning, which can be applied in both discrete and continuous domains. Specifically, we use a model of the environment to obtain embeddings for states and actions and present a generic architecture that uses these to learn a policy. In this way, the embedded representations obtained via our approach enable better generalization over both states and actions by capturing similarities in the embedding spaces. Evaluations of our approach on several gaming and recommender system environments show it significantly outperforms state-of-the-art models in discrete domains with large state/action space, thus confirming the efficacy of joint embedding and its overall superior performance.

연구 동기 및 목표

• 기존 강화학습 모델이 상태 또는 행동을 별개로 임베딩함으로써 상호작용를 忽略하는 한계를 해결하기 위해.
• 공동으로 상태 및 행동 표현을 모델링하여 큰 이산 상태 및 행동 공간에서 일반화 성능을 향상시키기 위해.
• 환경 모델을 사용하여 비모델 기반 및 모델 기반 학습을 통합하기 위해.
• 다양한 환경에서 효과적인 정책을 학습하기 위해 공동 임베딩을 활용하는 일반적인 아키텍처를 개발하기 위해.
• 게임 및 추천 시스템과 같은 실세계 응용 분야에서 공동 임베딩의 효과를 평가하기 위해.

제안 방법

• 이 방법은 환경 모델을 사용하여 상태 및 행동에 대한 임베딩 표현을 생성한다.
• 공동 상태-행동 임베딩을 입력으로 사용하는 일반적인 신경망 아키텍처를 도입한다.
• 임베딩 공간은 상태-행동 쌍 간의 의미적 유사성을 포착하여 더 나은 일반화를 가능하게 한다.
• 공유 표현 학습을 통해 이산 및 연속 도메인 모두에 적용 가능하다.
• 임베딩은 정책 학습 중에 함께 최적화되는 엔드 투 엔드로 훈련된다.
• 이 방법은 상태와 행동 간의 상호작용을 활용하여 단일 모odal 접근보다 더 정보가 풍부한 표현을 생성한다.

실험 결과

연구 질문

• RQ1 공동 상태-행동 임베딩은 상태 전용 또는 행동 전용 임베딩 방법에 비해 강화학습에서 일반화 성능을 향상시킬 수 있는가?
• RQ2 큰 이산 상태 및 행동 공간을 가진 환경에서 공동 임베딩 접근 방식은 어떻게 성능을 발휘하는가?
• RQ3 임베딩 공간에서 상태-행동 유사성을 포착할 경우 정책 학습 효율성이 어느 정도 향상되는가?
• RQ4 이러한 방법은 게임 및 추천 시스템과 같은 다양한 도메인에서 효과적인가?
• RQ5 샘플 효율성 및 최종 성능 측면에서 최신 기술 대비 공동 임베딩 아키텍처는 어떻게 비교되는가?

주요 결과

• 공동 상태-행동 임베딩 접근 방식은 큰 상태 및 행동 공간을 가진 이산 도메인에서 최신 기술 대비 뚜렷이 뛰어난 성능을 보였다.
• 공유 표현을 통한 상태 및 행동 공간 내 유사성 포착을 통해 일반화 성능 향상이 이루어졌다.
• 게임 및 추천 시스템 환경에서의 평가 결과, 공동 임베딩 전략의 유효성이 확인되었다.
• 상태 또는 행동을 별개로 임베딩하는 모델 대비 제안된 아키텍처가 뛰어난 성능을 보였다.
• 결과적으로, 임베딩 공간에서 상태와 행동 간의 상호작용을 모델링함으로써 더 효과적인 정책 학습이 가능함을 보여주었다.
• 이 방법은 이산 및 연속 도메인 모두에서 뛰어난 성능 유지를 보이며 광범위한 적용 가능성을 시사한다.