[논문 리뷰] KoGuN: Accelerating Deep Reinforcement Learning via Integrating Human Suboptimal Knowledge

Peng Zhang, Jianye Hao외 5명|arXiv (Cornell University)|2020. 02. 18.

Reinforcement Learning in Robotics참고 문헌 17인용 수 5

한 줄 요약

KoGuN은 흐린 규칙 기반 지식 컨트롤러와 학습 가능한 정련 모듈을 통해 인간의 열악한 지식을 통합함으로써 강화학습의 학습 속도를 가속화하는 새로운 딥 강화학습 프레임워크이다. 엔드 투 엔드 학습을 통해 표본 효율성이 크게 향상되어, 저품질의 인간 사전 지식이나 희박한 보상 환경에서도 빠른 수렴을 가능하게 한다.

ABSTRACT

Reinforcement learning agents usually learn from scratch, which requires a large number of interactions with the environment. This is quite different from the learning process of human. When faced with a new task, human naturally have the common sense and use the prior knowledge to derive an initial policy and guide the learning process afterwards. Although the prior knowledge may be not fully applicable to the new task, the learning process is significantly sped up since the initial policy ensures a quick-start of learning and intermediate guidance allows to avoid unnecessary exploration. Taking this inspiration, we propose knowledge guided policy network (KoGuN), a novel framework that combines human prior suboptimal knowledge with reinforcement learning. Our framework consists of a fuzzy rule controller to represent human knowledge and a refine module to fine-tune suboptimal prior knowledge. The proposed framework is end-to-end and can be combined with existing policy-based reinforcement learning algorithm. We conduct experiments on both discrete and continuous control tasks. The empirical results show that our approach, which combines human suboptimal knowledge and RL, achieves significant improvement on learning efficiency of flat RL algorithms, even with very low-performance human prior knowledge.

연구 동기 및 목표

• 사용자 제공의 열악한 지식(일반적으로 모호하고 불완전함)을 활용하여 딥 강화학습의 학습 속도를 가속화하는 것.
• 전문가의 시연이 필요 없이 불확실하고 고수준의 인간 지식(예: 일반 지식)을 강화학습에 통합하는 과제를 해결하는 것.
• 흐린 논리로 지식 표현을 하며 신경망 기반 정련 모듈을 통해 정책 개선을 수행하는 엔드 투 엔드 학습 가능한 프레임워크를 설계하는 것.
• 보상 신호가 희박한 환경에서도 학습 효율성을 향상시키는 것, 특히 보상 신호가 드물게 발생하는 경우에 초점을 맞추는 것.
• 인간이 제공한 지식 기반의 초기 조건을 통해 학습 과정을 '워밍스타트'함으로써 수렴 속도를 높이고 탐색을 줄이는 것.

제안 방법

• 프레임워크는 인간의 열악한 지식을 표현하기 위해 언어적 변수(예: '작음', '양수', '음수')를 사용하는 흐린 규칙 기반 컨트롤러를 사용한다.
• 학습 가능한 정련 모듈은 하이퍼넷워크 또는 표준 신경망으로 구현되며, 지식 컨트롤러에서 유도된 액션 선호도를 보정하고 작업에 적응한다.
• 정책 네트워크 전반을 정책 기반 강화학습 알고리즘을 사용해 엔드 투 엔드로 학습하며, 지식 컨트롤러와 정련 모듈을 모두 거쳐 기울기 역전파가 가능하도록 한다.
• 흐린 논리는 불확실성 하에서의 강건한 추론을 가능하게 하여, 인간 지식의 모호함과 불완전함을 효과적으로 다룰 수 있다.
• 학습 중 지식 컨트롤러가 최적화되어 초기 인간 사전 지식이 작업 분포에 맞게 개선되고 적응할 수 있다.
• 기존의 정책 기반 강화학습 알고리즘(PPO 등)과 호환되며, 이산 및 연속 제어 과제 모두에 적용 가능하다.

실험 결과

연구 질문

• RQ1 낮은 품질의 인간의 열악한 지식이라도 딥 강화학습의 학습 속도를 크게 가속화할 수 있는가?
• RQ2 흐린 논리 기반 지식 표현을 통합함으로써 강화학습에서 표본 효율성이 어떻게 향상되는가?
• RQ3 학습 가능한 정련 모듈이 정확도가 떨어지는 인간 사전 지식을 효과적으로 보정하고 학습 속도를 향상시킬 수 있는가?
• RQ4 KoGuN 프레임워크는 보상 신호가 드물게 발생하는 희박한 보상 환경에서 표준 강화학습보다 뛰어난 성능을 보일 수 있는가?
• RQ5 학습 중 지식 컨트롤러가 얼마나 잘 최적화되어 작업에 적응할 수 있는가?

주요 결과

• KoGuN은 인간이 제공한 규칙이 열악한 경우조차도 이산 및 연속 제어 과제에서 표준 PPO보다 빠른 수렴을 달성한다.
• 고성능에 도달하기 위해 필요한 학습 업데이트 횟수를 감소시켜 강력한 표본 효율성 향상을 입증한다.
• 보상 지연이 있는 희박한 보상 환경(예: d=10)에서도 KoGuN은 효과적인 학습을 유지하지만, 표준 PPO는 희박한 크레딧 할당 문제로 수렴하지 못한다.
• 제거 실험 결과, 하이퍼넷워크를 정련 모듈로 사용할 경우 표준 신경망보다 더 높은 성능을 보이며, 복잡하고 상태에 따라 달라지는 보정을 모델링할 수 있기 때문이다.
• 학습 가능한 지식 컨트롤러는 고정된 컨트롤러보다 성능이 뛰어나며, 초기 인간 사전 지식이 학습 중 최적화되어 정책 적응성이 향상되기 때문이다.
• 순수한 지식 컨트롤러(정련 없음)의 성능은 낮지만, KoGuN은 이에 비해 극적으로 향상되며, 정련 모듈의 가치를 입증한다.