[논문 리뷰] Deep Reinforcement Learning with an Action Space Defined by Natural Language

Ji He, Jianshu Chen외 5명|arXiv (Cornell University)|2015. 11. 13.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 자연어로 정의된 액션을 사용하는 텍스트 기반 게임에서 행동을 정의하기 위해 자연어를 활용하는 새로운 딥 강화학습 아키텍처인 딥 강화 관련성 네트워크(Deep Reinforcement Relevance Network, DRRN)를 소개한다. 상태와 액션에 대한 고수준 임bedding를 학습하고, 내적 곱이나 DNN과 같은 상호작용 함수를 사용하여 Q함수를 근사함으로써, 자연어에서 흔히 나타나는 크고 희박하며 유계가 아닌 액션 공간을 효과적으로 다루며, 기존의 딥 Q러닝 모델보다 두 가지 벤치마크 텍스트 게임에서 뛰어난 성능을 달성한다.

ABSTRACT

In this paper, we propose the deep reinforcement relevance network (DRRN), a novel deep architecture, to design a model for handling an action space characterized using natural language with applications to text-based games. For a particular class of games, a user must choose among a number of actions described by text, with the goal of maximizing long-term reward. In these games, the best action is typically what fits the current situation best (modeled as a state in the DRRN), also described by text. Because of the exponential complexity of natural language with respect to sentence length, there is typically an unbounded set of unique actions. Even with a constrained vocabulary, the action space is very large and sparse, posing challenges for learning. To address this challenge, the DRRN extracts separate high-level embedding vectors from the texts that describe states and actions, respectively, using a general interaction function, such as inner product, bilinear, and DNN interaction, between these embedding vectors to approximate the Q-function. We evaluate the DRRN on two popular text games, showing superior performance over other deep Q-learning architectures.

연구 동기 및 목표

• 자연어로 정의된 무한하고 희박한 액션 공간을 가진 환경에서의 학습 과제를 해결하기 위해.
• 상태와 액션의 자연어 기술을 처리하고 실행할 수 있는 딥 강화학습 모델을 설계하기 위해.
• 상태와 액션의 의미 임베딩 및 상호작용 함수를 활용하여 Q값 근사에 기여함으로써 텍스트 기반 게임에서의 학습 효율성과 성능을 향상시키기 위해.
• 복잡한 자연어 액션 공간을 가진 실제 텍스트 게임 벤치마크에서 모델의 효과성을 평가하기 위해.

제안 방법

• DRRN 아키텍처는 신경망을 사용하여 상태 및 액션 기술에 대한 별도의 고수준 임베딩 벡터를 학습한다.
• 상태 및 액션 임베딩 간의 상호작용 함수(내적 곱, 이차형식, 또는 딥 신경망 등)를 사용하여 Q함수를 근사한다.
• 상호작용 함수는 사전에 정의된 액션 집합이 필요 없이 주어진 상태에서 액션의 기대 수익을 계산할 수 있도록 한다.
• 학습을 안정화시키기 위해 경험 재생과 타겟 네트워크를 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 각 자연어 액션을 고유한 임베딩 벡터로 간주함으로써 동적이고 유계가 아닌 액션 공간을 지원한다.

실험 결과

연구 질문

• RQ1 어떻게 무한하고 자연어로 정의된 액션 공간을 가진 환경에 딥 강화학습을 효과적으로 적용할 수 있는가?
• RQ2 상태 및 액션 기술의 의미 임베딩이 텍스트 기반 게임에서 Q값 근사에 도움이 될 수 있는가?
• RQ3 상태 및 액션 임베딩 간의 상호작용 함수 사용이 표준 딥 Q네트워크보다 더 나은 학습 효율성과 성능을 제공하는가?
• RQ4 DRRN은 텍스트 기반 게임에서 샘플 효율성과 최종 성능 측면에서 기존의 딥 Q러닝 모델보다 어떻게 비교되는가?

주요 결과

• DRRN은 두 가지 인기 있는 텍스트 기반 게임 벤치마크에서 다른 딥 Q러닝 아키텍처보다 뛰어난 성능을 보이며, 학습 안정성과 최종 성능 향상을 입증한다.
• 상태 및 액션 임베딩 간의 상호작용 함수 사용은 액션 공간의 희박성과 유계가 아니라는 특성에도 불구하고 효과적인 Q값 근사 가능성을 보여준다.
• 학습된 임베딩를 통해 상태 기술과 잠재적 액션 간의 의미적 관련성을 포착함으로써 모델은 뛰어난 성능을 달성한다.
• 고정된 액션 어휘가 필요 없이 다양한 자연어 액션에 대해 효과적으로 일반화한다.