[논문 리뷰] Towards Symbolic Reinforcement Learning with Common Sense

Artur d’Avila Garcez, Aimore Resende Riquetti Dutra외 1명|arXiv (Cornell University)|2018. 04. 23.

Reinforcement Learning in Robotics참고 문헌 18인용 수 15

한 줄 요약

이 논문은 공통된 사고를 통합한 상징적 강화학습(SRL+CS)을 제안한다. 이는 딥 상징적 강화학습의 새로운 확장으로, 상태에서 관련 물체 상호작용이 있을 경우에만 Q-값을 업데이트하고, 물체 간 거리에 따라 Q-값을 가중치를 적용함으로써 일반화 능력과 특화 능력을 향상시킨다. SRL+CS는 거의 완벽한 제로샷 전이 학습을 달성하여 가장 어려운 테스트 시나리오에서 100%의 정확도를 기록하며, DQN(50%)과 DSRL(70%)을 뛰어넘는다. 이는 표준 강화학습 방법에 비해 해석 가능성과 성능 면에서 뚜렷한 발전을 보여준다.

ABSTRACT

Deep Reinforcement Learning (deep RL) has made several breakthroughs in recent years in applications ranging from complex control tasks in unmanned vehicles to game playing. Despite their success, deep RL still lacks several important capacities of human intelligence, such as transfer learning, abstraction and interpretability. Deep Symbolic Reinforcement Learning (DSRL) seeks to incorporate such capacities to deep Q-networks (DQN) by learning a relevant symbolic representation prior to using Q-learning. In this paper, we propose a novel extension of DSRL, which we call Symbolic Reinforcement Learning with Common Sense (SRL+CS), offering a better balance between generalization and specialization, inspired by principles of common sense when assigning rewards and aggregating Q-values. Experiments reported in this paper show that SRL+CS learns consistently faster than Q-learning and DSRL, achieving also a higher accuracy. In the hardest case, where agents were trained in a deterministic environment and tested in a random environment, SRL+CS achieves nearly 100% average accuracy compared to DSRL's 70% and DQN's 50% accuracy. To the best of our knowledge, this is the first case of near perfect zero-shot transfer learning using Reinforcement Learning.

연구 동기 및 목표

• 딥 강화학습(DRL)의 한계인 느린 학습, 열악한 일반화 능력, 해석 불가능성 문제를 상징적 추론과 Q-학습을 융합함으로써 해결하고자 한다.
• 학습 및 의사결정 과정에 공통된 사고 원칙을 통합하여 강화학습에서의 전이 학습 성능을 향상시키고자 한다.
• 명시적 지식 공 ingeneering이 필요 없이 일반화 능력을 향상시킬 수 있는 모델-프리(symbolic RL) 프레임워크를 개발하고자 한다.
• 상징적 추상화와 공통된 사고 추론을 조합하면 스위치적 및 결정적 환경에서 거의 완벽한 제로샷 전이 학습을 가능하게 하는지 평가하고자 한다.

제안 방법

• 이 방법은 물체 인식을 단순화하고 에이전트에게 직접 상징적 상태 표현을 제공함으로써 딥 상징적 강화학습(DSRL)을 확장한다.
• 표준 Q-학습에 두 가지 핵심 수정을 도입한다: (1) Q-값 업데이트를 관련 물체와 상호작용하는 상태에 한정한다(관련성 원칙), (2) 행동 선택 시 물체와의 상대적 거리의 역수 비례로 Q-값을 가중한다(근접성 원칙).
• Q-값 업데이트 규칙(식 3)은 에이전트가 관심 있는 물체와 상호작용할 경우에만 Q-값을 업데이트하여 노이즈를 줄이고 주목할 만한 상태-행동 쌍에 집중한다.
• 행동 선택 규칙(식 4)은 에이전트가 물체에서 가까울수록 Q-값을 비례적으로 높게 정규화하여 가까운 관련 물체에 우선순위를 부여한다.
• 이 프레임워크는 모델-프리 설정에서 작동하며, 복잡한 계획이나 세계 모델 없이 상징적 상태 표현과 Q-학습에만 의존한다.
• 이 접근은 에이전트가 긍정적 물체를 수집하고 부정적 물체를 피해야 하는 다양한 환경 조건에서의 벤치마크 내비게이션 게임에서 평가된다.

실험 결과

연구 질문

• RQ1 Q-학습에 공통된 사고 원칙을 통합하면 강화학습에서 일반화 능력과 제로샷 전이 성능이 향상되는가?
• RQ2 관련 물체 상호작용에 한해 Q-값 업데이트를 제한하면 표준 Q-학습에 비해 더 빠르고 효과적인 학습이 이루어지는가?
• RQ3 물체 간 거리에 따라 Q-값을 가중함으로써 복잡한 계획이나 세계 모델 없이도 상징적 강화학습의 의사결정 능력이 향상되는가?
• RQ4 결정적 및 확률적 환경에서 SRL+CS가 DQN, DSRL, 표준 Q-학습에 비해 정확도와 학습 속도 면에서 어떻게 비교되는가?
• RQ5 부정적 전이가 발생할 경우, SRL+CS는 상징적 Q-학습에 의존함으로써 다른 방법보다 더 심각하게 실패하는가? 만약 그렇다면 그 이유는 무엇인가?

주요 결과

• SRL+CS는 가장 어려운 테스트 케이스에서 평균 100%의 정확도를 기록하여 거의 완벽한 제로샷 전이 학습을 달성한다—학습은 결정적 환경에서 이루어지고 테스트는 확률적 환경에서 수행된다.
• 동일한 테스트 시나리오에서 DSRL은 오직 70%의 정확도를 기록했고, DQN은 50%에 머물렀다. 이는 SRL+CS의 뛰어난 일반화 능력을 시사한다.
• 모든 평가된 환경와 작업 변형에서 SRL+CS는 SRL, Q-학습, DQN, DSRL보다 더 빠르고 효과적으로 학습한다.
• 공통된 사고 원칙(관련성 기반 업데이트와 근접성 가중치)의 조합이 최고 성능을 내기 위해 필수적이며, 둘 중 하나만 사용할 경우 부분적인 향상에 그친다.
• 실험 6에서는 갈등하는 물체 위치로 인해 부정적 전이가 발생하지만, SRL+CS와 SRL 모두 부정적 물체를 먼저 수집하는 실패를 겪는다. 이는 Q-학습의 상태-행동 일반화 능력에 대한 제한을 드러낸다.
• 이 실패 사례에도 불구하고 SRL+CS는 유일한 실험을 제외한 모든 실험에서 다른 모든 방법보다 뛰어난 성능을 보이며, 다양한 강화학습 환경에서의 강건성과 효과성을 확인한다.