[논문 리뷰] Text-based RL Agents with Commonsense Knowledge: New Challenges, Environments and Baselines

Keerthiram Murugesan, Mattia Atzeni외 7명|arXiv (Cornell University)|2020. 10. 08.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 텍스트 월드 환경에서 의사결정을 향상시키기 위해 외부 소스(예: 콘셉넷)에서 온 공통지식을 텍스트 기반 강화학습 에이전트에 통합하는 방법을 제안한다. 지식 임bedding(Numberbatch 및 Complex)을 활용하여 성능을 향상시킨다. 주요 기여는 지식이 통합된 에이전트가 기준선 에이전트보다 유의미하게 높은 보상을 얻고 샘플 효율성이 뛰어나며, 테스트 시 평균 보상에서 최대 8.26점까지 우수한 성능을 보였다는 것이다.

ABSTRACT

Text-based games have emerged as an important test-bed for Reinforcement Learning (RL) research, requiring RL agents to combine grounded language understanding with sequential decision making. In this paper, we examine the problem of infusing RL agents with commonsense knowledge. Such knowledge would allow agents to efficiently act in the world by pruning out implausible actions, and to perform look-ahead planning to determine how current actions might affect future world states. We design a new text-based gaming environment called TextWorld Commonsense (TWC) for training and evaluating RL agents with a specific kind of commonsense knowledge about objects, their attributes, and affordances. We also introduce several baseline RL agents which track the sequential context and dynamically retrieve the relevant commonsense knowledge from ConceptNet. We show that agents which incorporate commonsense knowledge in TWC perform better, while acting more efficiently. We conduct user-studies to estimate human performance on TWC and show that there is ample room for future improvement.

연구 동기 및 목표

• 복잡하고 개방형 환경에서 텍스트 기반 강화학습 에이전트의 한계를 해결하기 위해 외부 공통지식을 통합하는 것.
• 오픈 지식 소스인 콘셉넷과 같은 소스에서 유래한 지식 임베딩이 부분 관측 가능하고 순차적인 의사결정 과제에서 에이전트 성능을 향상시키는 방식을 조사하는 것.
• 통제된 실험 환경에서 단순, 이력 증강, 지식 증강 에이전트의 다양한 변종을 설계하고 평가하는 것.
• 텍스트 기반 환경에서 지식 증강 강화학습을 평가하기 위한 새로운 기준과 환경을 설정하는 것.

제안 방법

• 환경은 부분 관측 가능한 마르코프 결정 과정(POMDP)으로 모델링되며, 텍스트 기반 상호작용 환경을 위해 텍스트 월드 프레임워크를 사용한다.
• 세 가지 에이전트 변종을 구현한다: 단순 에이전트(단어 임베딩 사용), 이력 행동-보상 맥락을 통합한 수정된 에이전트, 지식 그래프 임베딩을 통합한 지식이 풍부한 에이전트.
• 지식 임베딩은 콘셉넷에서 Numberbatch 및 Complex 임베딩 모델을 사용해 유도되며, 이는 이력 및 상태 표현과 융합된다.
• 에이전트의 행동 선택은 GRU와 어텐션 메커니즘을 갖춘 신경망 기반으로 이루어지며, 상태, 이력, 지식 임베딩을 함께 처리한다.
• 통계적 안정성을 확보하기 위해 200회의 런을 통해 훈련 및 평가를 수행하며, 주요 지표로 보상과 단계 수를 측정한다.
• 지식 증강 에이전트는 행동 공간의 복잡성을 줄이기 위해 이력 맥락과 외부 지식 임베딩을 융합한 하이브리드 표현을 사용한다.

실험 결과

연구 질문

• RQ1 오픈 지식 소스에서 온 외부 공통지식이 복잡한 환경에서 텍스트 기반 강화학습 에이전트의 성능을 향상시킬 수 있는가?
• RQ2 기준선 에이전트와 비교했을 때 지식 임베딩 통합이 샘플 효율성과 최종 성능에 어떤 영향을 미치는가?
• RQ3 다양한 지식 임베딩 유형(예: Numberbatch 대비 Complex)이 에이전트 학습 동역학에 미치는 상대적 영향은 무엇인가?
• RQ4 이력 맥락만 사용할 경우 성능 향상이 이루어지는가, 아니면 뚜렷한 성능 향상을 위해서는 외부 지식이 필수적인가?
• RQ5 지식 증강 에이전트가 새로운 환경이나 과제에 얼마나 잘 일반화되는가?

주요 결과

• Complex 임베딩을 사용한 지식이 풍부한 에이전트는 테스트 시 평균 보상 8.26 ± 0.15점을 기록하여 단순 에이전트(7.72 ± 0.19)보다 유의미하게 높은 성능을 보였다.
• 지식이 풍부한 에이전트 2는 테스트 시 평균 단계 수를 39.75 ± 0.86로 줄여 탐색을 줄이고 더 효율적인 계획 수립을 의미한다.
• 낮은 단계 수에도 불구하고 지식이 풍부한 에이전트는 수정된 에이전트(8.04 ± 0.17)보다 평균 보상(8.11 ± 0.18)이 높아 더 우수한 정책 품질을 보였다.
• 지식 통합은 훈련 및 테스트 단계에서 수정된 에이전트 대비 일관되게 0.3~0.5점의 보상 향상을 이끌어냈다.
• 외부 지식 사용으로 성능의 분산이 감소했으며, 보상 및 단계 수 지표의 표준 오차가 더 좁아짐으로써 이를 뒷받침했다.
• 결과적으로 콘셉넷과 같은 오픈 소스에서 유래한 지식 임베딩이 텍스트 기반 환경에서 강화학습 에이전트의 추론 및 의사결정 능력을 향상시키는 데 효과적이라는 것이 입증되었다.