[논문 리뷰] Reinforcement Learning with Knowledge Representation and Reasoning: A Brief Survey

Chao Yu, Ye, Shicheng외 1명|arXiv (Cornell University)|2023. 04. 24.

Data Stream Mining Techniques인용 수 6

한 줄 요약

이 종합 검토는 지식 표현 및 추론(KRR)을 강화학습(RL)에 통합하여 표본 효율성, 일반화 능력, 안전성, 해석 가능성 향상을 다룹니다. 형식적 논리로 고수준 도메인 지식(예: 사실, 관계, 규칙)을 표현함으로써 더 추상적이고 투명하며 일반화 가능한 학습이 가능해지며, 이는 복잡한 실제 환경에서 전통적 RL의 핵심적 한계를 보완합니다.

ABSTRACT

Reinforcement Learning (RL) has achieved tremendous development in recent years, but still faces significant obstacles in addressing complex real-life problems due to the issues of poor system generalization, low sample efficiency as well as safety and interpretability concerns. The core reason underlying such dilemmas can be attributed to the fact that most of the work has focused on the computational aspect of value functions or policies using a representational model to describe atomic components of rewards, states and actions etc, thus neglecting the rich high-level declarative domain knowledge of facts, relations and rules that can be either provided a priori or acquired through reasoning over time. Recently, there has been a rapidly growing interest in the use of Knowledge Representation and Reasoning (KRR) methods, usually using logical languages, to enable more abstract representation and efficient learning in RL. In this survey, we provide a preliminary overview on these endeavors that leverage the strengths of KRR to help solving various problems in RL, and discuss the challenging open problems and possible directions for future work in this area.

연구 동기 및 목표

• 복잡한 실제 문제에 적용될 때 전통적 RL의 표본 효율성, 일반화 능력, 해석 가능성에 대한 한계를 해결하기 위해.
• 형식적 지식 표현(예: 논리적 규칙, 사실, 관계)이 RL에 어떻게 통합되어 학습 성능을 향상시킬 수 있는지 조사하기 위해.
• KRR가 RL에서 이전 학습 전이, 규칙 기반 추론, 설명 가능한 정책 학습을 가능하게 하는 역할을 탐색하기 위해.
• KRR 강화된 RL의 이론적 분석, 확장성, 다중 에이전트 응용 분야에서의 열린 과제를 식별하기 위해.
• KRR-RL 통합 분야의 현재 방법론과 향후 연구 방향에 대한 체계적인 개요 제공하기 위해.

제안 방법

• 객체, 관계, 규칙, 제약 조건 등의 고수준 도메인 지식을 표현하기 위해 형식적 논리 언어(예: 일阶논리, 답변 집합 프로그래밍, 시간 논리)를 사용하기 위해.
• 기호 지식을 선언적 논리로 표현하여 보상 함수, 상태 표현, 또는 정책 구조에 사전 지식을 통합함으로써 RL에 통합하기 위해.
• 기존의 기본 요소들(예: '커피 배달'과 '우편 배달'을 조합하여 새로운 작업으로 조합)에 대한 모듈화되고 구성적인 추론을 통해 작업 일반화를 가능하게 하기 위해.
• 블랙박스 정책 대신 인간이 이해할 수 있는 기호 기반 규칙 기반 정책을 도입함으로써 설명 가능성과 안전성을 향상시키기 위해.
• 자동 추론, 믿음 수정, 모델 체킹과 같은 KRR 기법을 활용하여 에이전트 행동의 검증 및 검증을 지원하기 위해.
• 기능 근사와 기호 추상화를 조합하여 KRR-RL을 고차원 환경에 확장하면서도 표현력과 계산 비용 간의 상충 관계를 관리하기 위해.

실험 결과

연구 질문

• RQ1 KRR 방법은 어떻게 기존 지식을 통합함으로써 강화학습의 표본 효율성을 향상시킬 수 있는가?
• RQ2 기호 지식은 서로 유사하지만 다른 작업 구조를 가진 작업 간의 정책 일반화를 어떻게 향상시키는가?
• RQ3 형식적 논리의 사용은 임상적 영역과 같은 중요한 분야에서 RL 정책의 해석 가능성과 안전성에 어떻게 기여하는가?
• RQ4 KRR 통합 RL 시스템의 수렴성과 표본 복잡도를 분석하는 데 있어 이론적 과제는 무엇인가?
• RQ5 전략적 상호작용과 부분 관측이 존재하는 복잡한 다중 에이전트 환경으로 KRR-RL을 어떻게 확장할 수 있는가?

주요 결과

• KRR를 RL에 통합함으로써 환경 상호작용 횟수를 줄여 표본 효율성이 크게 향상되며, 특히 보상이 희박한 환경에서 두드러짐.
• KRR는 기존의 추상적이고 재사용 가능한 지식 요소들(예: 기존 작업 모듈의 조합)에 대한 조합적 추론을 가능하게 하여 더 나은 작업 간 일반화를 가능하게 함.
• 논리 규칙에서 유도된 기호 정책은 설명 가능성을 향상시키고 신뢰도를 높여, 헬스케어 및 자율 주행과 같은 안전이 중요한 응용 분야에서 RL을 더 적합하게 만듦.
• 현재 KRR-RL 방법은 OfficeWorld, Minecraft, 로봇 제어 등 일부 분야에서 잠재력을 보였지만, 대규모 실세계 문제로의 확장성은 여전히 주요 과제임.
• KRR-RL 시스템의 이론적 분석는 아직 초보 단계에 있으며, 수렴성, 표본 복잡도, 동적 추상화 수준에서의 안정성에 대한 연구는 제한적임.
• 주요 열린 과제로는 전략적 상호작용이 존재하는 다중 에이전트 RL 환경에서 효율적인 추론이 있으며, 특히 능력 모델링을 위해 교대로 시간 논리(ATL) 같은 형식 체계를 통합할 때의 과제가 존재함.