[논문 리뷰] A Narration-based Reward Shaping Approach using Grounded Natural Language Commands

Nicholas R. Waytowich, Sean L. Barton외 2명|arXiv (Cornell University)|2019. 10. 31.

Topic Modeling참고 문헌 24인용 수 4

한 줄 요약

이 논문은 스타크래프트 II의 BuildMarines 미니게임과 같은 희박한 보상 환경에서 딥 강화학습의 성능을 향상시키기 위해 기반 자연어 명령어를 사용하는 서사 기반 보상 형태화 방법을 제안한다. 상호 임베딩 모델(MEM)을 통해 자연어 명령어와 목표 상태를 공유된 임베딩 공간에 투영함으로써, 더 빠른 학습과 미리 보지 않은 명령어로의 일반화를 가능하게 하며, 이는 보상 형태화가 없는 기존 기반 및 전통적 형태화 기반 대비 뛰어난 성능을 보인다.

ABSTRACT

While deep reinforcement learning techniques have led to agents that are successfully able to learn to perform a number of tasks that had been previously unlearnable, these techniques are still susceptible to the longstanding problem of reward sparsity. This is especially true for tasks such as training an agent to play StarCraft II, a real-time strategy game where reward is only given at the end of a game which is usually very long. While this problem can be addressed through reward shaping, such approaches typically require a human expert with specialized knowledge. Inspired by the vision of enabling reward shaping through the more-accessible paradigm of natural-language narration, we develop a technique that can provide the benefits of reward shaping using natural language commands. Our narration-guided RL agent projects sequences of natural-language commands into the same high-dimensional representation space as corresponding goal states. We show that we can get improved performance with our method compared to traditional reward-shaping approaches. Additionally, we demonstrate the ability of our method to generalize to unseen natural-language commands.

연구 동기 및 목표

• 딥 강화학습에서 희박한 보상 문제를 해결함으로써, 스타크래프트 II와 같은 복잡하고 장기적인 과제 환경에서의 학습 성능을 향상시키는 것.
• 저수준 프로그래밍 지식이 없는 비전문가가 접근할 수 있도록 자연어 서사 기반 보상 형태화를 가능하게 하는 것.
• 임베딩 모델을 재학습 없이도 새로운 자연어 명령어로 일반화할 수 있는 방법을 개발하는 것.
• 자연어 기반 보상 형태화가 기존의 전통적 형태화 및 기본 강화학습 대비 학습 속도와 최종 성능 측면에서 뛰어나다는지 평가하는 것.

제안 방법

• 상호 임베딩 모델(MEM)을 사용하여 자연어 명령어와 해당 목표 상태를 공유된 고차원 표현 공간에 매핑한다.
• 자연어 명령어는 Word2Vec을 사용해 임베딩되며, 목표 상태는 에이전트의 관측 공간을 신경망을 통해 인코딩한다.
• MEM는 의미적으로 유사한 명령어와 목표 상태가 벡터 공간에서 가까이 위치하도록 공동 임베딩 공간을 학습한다.
• 형태화된 보상은 임bedded된 명령어와 현재 상태의 임베딩 간 코사인 유사도로 계산되며, 이는 학습 중에 조밀한 중간 피드백을 제공한다.
• 강화학습 에이전트는 원래의 희박한 보상 외에도 이 보조 보상 신호를 사용하여 학습되며, 이로 인해 학습 효율성이 향상된다.
• 일반화 평가는 RL 학습 중에 새로운, 보지 않은 자연어 명령어를 사용해 훈련된 MEM의 성능을 평가함으로써 수행된다.

실험 결과

연구 질문

• RQ1 기반 자연어 명령어를 사용하는 서사 기반 보상 형태화가 기존의 전통적 형태화 및 보상 형태화가 없는 기반 대비 학습 성능을 향상시키는가?
• RQ2 상호 임베딩 모델이 재학습 없이도 새로운, 보지 않은 자연어 명령어로 얼마나 잘 일반화되는가?
• RQ3 새로운 언어 명령어를 사용할 경우 강화학습 에이전트의 성능가 어떻게 저하되며, 여전히 의미 있는 과제 완수를 달성할 수 있는가?
• RQ4 다른 언어 표현 방식의 의미 모호성이 명령어-상태 기반 설정 정확도와 이후 강화학습 학습에 어떤 영향을 미치는가?

주요 결과

• 서사 기반 보상 형태화를 적용한 에이전트는 보상 형태화가 없는 기반 대비 유의미하게 뛰어난 성능을 보였으며, 새로운 명령어를 사용할 경우 평균 점수는 약 25~30을 기록했다.
• 상호 임베딩 모델은 새로운 자연어 명령어를 목표 상태의 올바른 다양체(manifold)에 성공적으로 투영하여 의미론적 일반화를 입증했다.
• 의미 모호성이 높은 명령어, 예를 들어 '노동자 유닛을 선택하라'는 명령어는 투영 정밀도가 떨어져 성능 저하가 발생했다.
• 새로운 명령어에 대해 성능이 저하되었음에도 불구하고, 서사 기반 보상 형태화를 적용한 에이전트는 여전히 보상 형태화가 없는 기반 대비 뛰어난 성능을 보였으며, 이는 형태화된 보상의 잔여 이점이 존재함을 시사한다.
• t-SNE 시각화 결과 대부분의 새로운 명령어가 원래 명령어 근처로 투영된 것으로 확인되었지만, 일부는 더 멀리 떨어져 있었으며, 이는 낮은 학습 효율성과 관련이 있었다.
• 이 방법은 다양한 언어 표현 방식으로 일반화 가능하므로, 복잡한 과제 환경에서 인간-AI 상호작용의 잠재적 활용 가능성을 시사한다.