[논문 리뷰] Robot Representing and Reasoning with Knowledge from Reinforcement Learning.

Keting Lu, Shiqi Zhang외 2명|arXiv (Cornell University)|2018. 09. 28.

Reinforcement Learning in Robotics참고 문헌 21인용 수 12

한 줄 요약

이 논문은 논리적-확률적 지식 표현 및 추론(KRR)과 모델 기반 강화학습(RL)을 융합한 하이브리드 프레임워크를 제안하며, 이는 이동 로봇이 인간이 제공한 기술적 지식과 RL이 추출한 경험을 통합하여 작업에 특화된 계획 모델을 동적으로 구성할 수 있도록 한다. 기존의 모델 기반 RL 방법에 비해 대화, 주행 및 배달 작업에서 성능이 크게 향상된다.

ABSTRACT

Reinforcement learning (RL) agents aim at learning by interacting with an environment, and are not designed for representing or reasoning with declarative knowledge. Knowledge representation and reasoning (KRR) paradigms are strong in declarative KRR tasks, but are ill-equipped to learn from such experiences. In this work, we integrate logical-probabilistic KRR with model-based RL, enabling agents to simultaneously reason with declarative knowledge and learn from interaction experiences. The knowledge from humans and RL is unified and used for dynamically computing task-specific planning models under potentially new environments. Experiments were conducted using a mobile robot working on dialog, navigation, and delivery tasks. Results show significant improvements, in comparison to existing model-based RL methods.

연구 동기 및 목표

• 강화학습(ML) 에이전트가 기술적 지식을 표현하고 추론하는 데에 한계가 있음을 해결하기 위해.
• 기존의 KRR 시스템이 상호작용 경험에서 학습할 수 없는 한계를 극복하기 위해.
• 인간이 제공한 지식과 RL이 추출한 지식을 통합하여 동적 계획 모델 생성을 위해.
• 통합된 지식 소스를 활용하여 새로운 또는 변화하는 환경에서 계획 모델을 적응적으로 조정할 수 있도록 하기 위해.
• 대화, 주행 및 배달과 같은 실제 로봇 작업에서의 성능 향상을 위해.

제안 방법

• 논리적-확률적 KRR와 모델 기반 RL을 결합하여 기술적 지식을 표현하고 추론하기 위해.
• 학습 과정을 지도하고 제약하기 위해 인간이 정리한 지식을 사전 지식으로 사용하기 위해.
• 인간의 지식과 RL이 추출한 경험을 통합하여 작업에 특화된 계획 모델을 동적으로 구성하기 위해.
• 공통 프레임워크 내에서 추론과 학습을 모두 지원하기 위해 통합된 지식 표현을 활용하기 위해.
• 환경와의 상호작용을 통해 계획 모델을 정밀화하고 업데이트하기 위해 모델 기반 RL을 활용하기 위해.
• 통합된 지식 기반을 사용하여 새로운 환경에 적응하기 위해 계획 모델을 다시 계산함으로써 적응성을 지원하기 위해.

실험 결과

연구 질문

• RQ1 인간으로부터의 기술적 지식와 강화학습 경험을 통합된 프레임워크에서 효과적으로 융합할 수 있는가?
• RQ2 KRR와 모델 기반 RL의 융합이 동적인 환경에서의 계획 및 의사결정을 향상시킬 수 있는가?
• RQ3 통합된 지식 표현이 새로운 환경 조건 하에서 동적 모델 생성을 어떻게 지원하는가?
• RQ4 KRR와 모델 기반 RL을 융합함으로써 실제 로봇 작업에서 달성 가능한 성능 향상은 어느 정도인가?
• RQ5 복잡한 작업에서 기존의 모델 기반 RL 방법에 비해 이 프레임워크가 얼마나 뛰어난 성능을 보이는가?

주요 결과

• 제안된 프레임워크는 기존의 모델 기반 RL 방법에 비해 대화, 주행 및 배달 작업에서 성능이 크게 향상된다.
• 인간이 제공한 지식과 RL이 추출한 경험의 융합은 새로운 환경에서 더 견고하고 적응 가능한 계획을 가능하게 한다.
• 통합된 지식 표현 덕분에 실행 중에 작업에 특화된 계획 모델을 동적으로 재계산할 수 있다.
• 논리적-확률적 KRR와 경험 기반 학습을 함께 활용함으로써 추론 능력이 향상됨을 입증하였다.
• 계획 과정에 사전 지식를 통합함으로써 광범위한 시행착오 학습에 대한 의존도를 감소시켰다.
• 성과는 임계 성공률 및 계획 효율성 향상으로 측정되었으며, 구체적인 지표는 제공된 초록에 기재되어 있지 않다.