[논문 리뷰] Enhancing Text-based Reinforcement Learning Agents with Commonsense Knowledge

Keerthiram Murugesan, Mattia Atzeni외 4명|arXiv (Cornell University)|2020. 05. 02.

Topic Modeling참고 문헌 33인용 수 17

한 줄 요약

이 논문은 텍스트 기반 환경에서 강화학습 에이전트를 제안하며, 개념넷에서 가져온 공공지식과 상징적 믿음 그래프를 통합하여 탐색을 줄이고 샘플 효율성을 향상시킨다. 실시간 환경 관찰과 외부 지식을 동적으로 융합함으로써, 주방 정리 및 요리 레시피 작업에서 뛰어난 성능을 달성하지만, 지나친 지식은 학습을 방해할 수 있으며, 이는 맥락 인식 지식 통합의 필요성을 시사한다.

ABSTRACT

In this paper, we consider the recent trend of evaluating progress on reinforcement learning technology by using text-based environments and games as evaluation environments. This reliance on text brings advances in natural language processing into the ambit of these agents, with a recurring thread being the use of external knowledge to mimic and better human-level performance. We present one such instantiation of agents that use commonsense knowledge from ConceptNet to show promising performance on two text-based environments.

연구 동기 및 목표

• 텍스트 기반 강화학습 에이전트의 샘플 비효율성을 해결하기 위해 공공지식을 통합하는 것.
• 텍스트월드와 같은 텍스트 기반 환경에서 개념넷의 외부 지식이 탐색을 어떻게 줄일 수 있는지 조사하는 것.
• 공공지식이 에이전트 성능을 향상시키거나 악화시키는 조건을 탐색하는 것.
• 에이전트의 현재 믿음 상태와 전역 공공지식을 기호적으로 표현하는 이중 그래프 아키텍처를 개발하는 것.
• 주방 정리 및 레시피 기반 게임을 포함한 다양한 텍스트 기반 작업에서 방법을 평가하는 것.

제안 방법

• 에이전트는 텍스트 관찰 기반으로 환경에 대한 현재 인식을 기호적으로 표현하는 지역 믿음 그래프를 유지한다.
• 개념넷의 실체와 관계를 사용하여 외부 세계 지식을 표현하는 전역 공공지식 그래프를 구성한다.
• 믿음 그래프와 공공지식 그래프를 미분 가능한 어텐션 메커니즘을 통해 융합하여 행동 선택을 안내한다.
• 지식 통합 모드 두 가지를 지원한다: 전체 그래프(초기부터 모든 지식 이용 가능) 및 진화 그래프(에이전트가 탐색하면서 점진적으로 지식 추가).
• 그래프 보조 트랜스포머 에이전트(GATA)-기반 프레임워크를 사용하여 성능 평가하며, 상태 표현은 기호적 그래프에 대한 자기 어텐션을 통해 학습된다.
• 성능은 주방 정리 및 레시피 기반 요리 게임의 두 가지 텍스트 기반 작업에서 다수의 런에 걸쳐 측정된다.

실험 결과

연구 질문

• RQ1 개념넷에서 가져온 공공지식 통합이 텍스트 기반 강화학습 환경에서 탐색을 줄이고 샘플 효율성을 향상시킬 수 있는가?
• RQ2 지식 통합 시점(전체 vs. 점진적)이 에이전트 성능에 어떤 영향을 미치는가?
• RQ3 외부 지식이 성능 향상이 아니라 성능 악화를 초래하는 조건은 무엇인가?
• RQ4 기호적 믿음 그래프와 공공지식의 융합이 텍스트 기반 게임의 의사결정 능력을 어떻게 향상시키는가?
• RQ5 진정한 믿음 그래프 정보가 공공지식보다 더 유익한 상황은 어떤가?

주요 결과

• 제안된 에이전트는 주방 정리 작업에서 단순 텍스트 기반 에이전트와 GATA 기준선을 모두 능가하여 탐색을 줄이고 빠른 수렴을 보였다.
• 요리 레시피 작업에서는 진화 그래프 설정(점진적 지식)이 전체 그래프 설정을 능가하여, 지식 통합을 연기함으로써 노이즈를 줄이고 성능을 향상시켰다.
• GATA_Full 에이전트는 요리 레시피 작업에서 가장 뛰어난 성능을 보였으며, 이는 목표가 국소화된 단순한 작업에서는 진정한 상태 정보가 공공지식보다 더 효과적일 수 있음을 시사한다.
• 과도하거나 잘 걸러지지 않은 공공지식은 에이전트를 혼란스럽게 만들 수 있으며, 이는 특히 저복잡도 환경에서 성능 저하로 이어진다.
• 복잡한 작업, 예를 들어 물체의 위치와 관계를 고려한 주방 정리 작업에서는 이중 그래프 접근법(믿음 + 공공지식)이 성능 향상에 크게 기여했다.
• 결과는 지식 통합이 맥락 인식이 되어야 한다는 것을 보여주며, 공공지식의 유용성은 작업의 복잡도와 환경의 구조에 따라 달라진다.