[논문 리뷰] WordCraft: An Environment for Benchmarking Commonsense Agents

Minqi Jiang, Jelena Luketina외 5명|arXiv (Cornell University)|2020. 07. 17.

Topic Modeling참고 문헌 42인용 수 10

한 줄 요약

WordCraft는 실생활 개념에 지식을 기반으로 하는 경량화된 강화학습 환경을 Little Alchemy 2 기반으로 제안하여 에이전트의 공통지식 추론 능력을 평가한다. 자연어로 실체를 기반으로 하고 ComplEx 링크 예측을 통해 지식 그래프를 통합함으로써, 지식 그래프가 없는 기준 모델 대비 영향력 있는 제로샷 일반화 성능 향상을 이룬다.

ABSTRACT

The ability to quickly solve a wide range of real-world tasks requires a commonsense understanding of the world. Yet, how to best extract such knowledge from natural language corpora and integrate it with reinforcement learning (RL) agents remains an open challenge. This is partly due to the lack of lightweight simulation environments that sufficiently reflect the semantics of the real world and provide knowledge sources grounded with respect to observations in an RL environment. To better enable research on agents making use of commonsense knowledge, we propose WordCraft, an RL environment based on Little Alchemy 2. This lightweight environment is fast to run and built upon entities and relations inspired by real-world semantics. We evaluate several representation learning methods on this new benchmark and propose a new method for integrating knowledge graphs with an RL agent.

연구 동기 및 목표

• 지식를 실제 세계 개념에 기반한 경량화되고 의미가 풍부한 강화학습 환경의 부족을 해결하기 위해.
• 자연어와 지식 그래프로부터 공통지식을 활용하는 에이전트의 효율적 평가를 가능하게 하기 위해.
• 사전 학습된 지식 그래프 임베딩이 강화학습 에이전트에서 제로샷 일반화 성능을 향상시키는 방식을 조사하기 위해.
• ComplEx 링크 점수를 사용하여 지식 그래프 예측에 기반한 정책 조건화 방법을 개발하고 평가하기 위해.

제안 방법

• WordCraft는 700개의 실체와 3,417개의 유효한 아이템 조합을 포함한 마르코프 결정 과정으로 구축되었으며, Little Alchemy 2 기반의 제작 게임을 시뮬레이션한다.
• 실체는 자연어 의미론을 통해 기반을 두어 ConceptNet과 같은 외부 지식 소스와의 일치를 가능하게 한다.
• 유효한 조리법 지식 그래프를 기반으로 ComplEx 모델을 학습하여 실체 간의 누락된 관계를 예측한다.
• 정책 네트워크는 ComplEx로 예측된 관계 점수(예: combinesWith, componentOf)와 자기주의 주의 가중치의 가중합을 사용하여 행동 선택을 이끈다.
• 에이전트의 정책은 지식 그래프 임베딩에 기반하여 조건화되어, 미리 보지 않은 조합으로의 일반화를 가능하게 한다.
• 평가에서는 다양한 수의 혼동자(지식 그래프가 없는 기준 모델과 비교)를 포함한 깊이 1 및 깊이 2 과제에서 제로샷 성공률을 사용한다.

실험 결과

연구 질문

• RQ1 지식 그래프 임베딩은 기호적 추론 환경 내에서 강화학습 에이전트의 제로샷 일반화 성능을 향상시킬 수 있는가?
• RQ2 관계 점수의 선택(예: combinesWith 대비 componentOf)은 정책 성능과 행동 선택에 어떤 영향을 미치는가?
• RQ3 완전한 지식 그래프에의 액세스가 부분적 또는 지식이 없는 경우보다 미리 보지 않은 과제 일반화에서 얼마나 더 우수한 성능을 내는가?
• RQ4 ComplEx로 예측된 점수 통합 방식은 외부 지식 없이 종단 간 강화학습과 비교해 어떤가?
• RQ5 명시적인 지식 통합 없이도 더 많은 학습 데이터를 사용할수록 모델 성능이 향상되는가?

주요 결과

• ComplEx를 통해 전체 지식 그래프에 액세스한 에이전트는 특히 혼동자가 적은 설정에서 제로샷 성공률이 크게 향상된다.
• 'combinesWith' 관계 점수만을 사용하는 전체-KG 에이전트는 높은 성공률를 기록하지만, 자가 조합 예측로 인해 같은 실체를 두 번 선택하는 경우가 종종 발생한다.
• 부분-KG 에이전트는 항상 KG-free 에이전트를 능가하지는 않으며, 이는 강화학습 에이전트가 데이터만으로도 일부 관계적 인덕티브 바이어스를 학습할 수 있음을 시사한다.
• 지식 그래프가 통합된 에이전트는 초기 학습 단계에서 뛰어난 성능을 보이며, KG-free 모델보다 더 빨리 높은 제로샷 성공률를 달 đạt한다.
• 'componentOf' 관계 점수는 비효율적인 행동을 유도하며, 종종 같은 실체를 두 번 선택하게 하여 목표의 가장 확률이 높은 구성요소를 우선시한다.
• 인간의 성능은 1개 또는 8개의 혼동자가 있을 때 모두 안정적으로 유지되며, 이는 인간의 추론이 모델의 행동과 달리 증가된 모호성에 대해 강건함을 시사한다.