[논문 리뷰] Faster and Safer Training by Embedding High-Level Knowledge into Deep Reinforcement Learning

Haodi Zhang, Zihang Gao외 4명|arXiv (Cornell University)|2019. 10. 22.

Reinforcement Learning in Robotics참고 문헌 39인용 수 10

한 줄 요약

이 논문은 깊이 강화학습의 학습 속도를 높이고 안전성을 향상시키기 위해 고수준의 상징적 규칙을 딥 Q러닝에 통합하는 프레임워크인 규칙 중간 삽입 학습(Rule-interposing Learning, RIL)을 제안한다. 탐색 중에 동적으로 해석 가능한 규칙을 적용함으로써 RIL은 치명적인 행동을 감소시키고, 냉시작 문제를 완화하며, 핵심 DQN 아키텍처를 수정하지 않으면서도 해석 가능성과 안정성을 향상시킨다. 이는 Flappy Bird 및 그리드 월드와 같은 환경에서 더 빠른 수렴과 더 안정적인 학습을 이끈다.

ABSTRACT

Deep reinforcement learning has been successfully used in many dynamic decision making domains, especially those with very large state spaces. However, it is also well-known that deep reinforcement learning can be very slow and resource intensive. The resulting system is often brittle and difficult to explain. In this paper, we attempt to address some of these problems by proposing a framework of Rule-interposing Learning (RIL) that embeds high level rules into the deep reinforcement learning. With some good rules, this framework not only can accelerate the learning process, but also keep it away from catastrophic explorations, thus making the system relatively stable even during the very early stage of training. Moreover, given the rules are high level and easy to interpret, they can be easily maintained, updated and shared with other similar tasks.

연구 동기 및 목표

• 초기 학습 단계에서의 장기적인 학습 시간과 불안정성 문제(냉시작 문제)를 해결한다.
• 치명적인 행동을 피해야 하는 고위험 환경에서 탐색의 안전성을 향상시킨다.
• 전문가의 시범 데이터나 수동으로 하위 작업을 나누는 것 없이도 인간이 이해할 수 있는 고수준 도메인 규칙을 딥 Q러닝에 통합한다.
• 설명 가능한 규칙 모듈을 통해 학습된 정책의 유지보수, 이식성, 적응성을 쉽게 한다.
• 딥 강화학습의 해석 가능성과 데이터 효율성을 향상시키는 일반화 가능한 프레임워크를 제공한다.

제안 방법

• 딥 Q러닝의 행동 선택 과정에 상징적 규칙를 통합하는 규칙 중간 삽입 학습(RIL) 프레임워크를 도입한다.
• 규칙를 조건-행동 쌍으로 표현: 환경 상태인 전제 조건이 충족되면, 확률적 선택 메커니즘을 통해 일련의 행동을 제안한다.
• 학습 단계와 규칙 유형(예: 히ュ리스틱 규칙 vs. 안전성 규칙)에 따라 규칙 적용 확률을 동적으로 조정한다.
• 원래의 DQN 아키텍처와 학습 파이프라인을 유지하면서, 이プ실론-그리디 탐색 중에 규칙 기반 행동 제안을 삽입한다.
• 형식적 논리(예: 일阶논리, 해답 집합 프로그래밍)를 사용해 규칙를 표현하여 상징적 추론와의 호환성을 확보한다.
• DQN이 동일한 행동을 내재화함에 따라 일부 규칙가 더 이상 유효하지 않게 되어, 학습된 정책에 대한 신뢰도를 높이고 새로운 도메인으로의 이식성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 고수준의 상징적 규칙는 복잡한 환경에서 딥 Q러닝의 학습 과정을 가속화할 수 있는가?
• RQ2 안전성 규칙는 초기 학습 단계에서 치명적인 탐색을 방지하여 실패 위험을 줄일 수 있는가?
• RQ3 규칙 통합은 학습된 딥 강화학습 정책의 해석 가능성과 유지보수성에 어떤 영향을 미치는가?
• RQ4 규칙 통합은 DQN의 학습 능력을 손상시키지 않고 탐색을 얼마나 잘 이끌 수 있는가?
• RQ5 규칙 재사용과 수정을 통해 유사 작업 간의 전이 학습을 지원할 수 있는가?

주요 결과

• 히ュ리스틱 규칙의 통합은 Flappy Bird, 항공기 사격, Breakout, 그리드 월드에서 학습을 크게 가속화하여 샘플 복잡도를 감소시켰다.
• 안전성 규칙는 초기 학습 단계에서 계곡에서 떨어지거나 충돌하는 등의 치명적인 결정을 방지하는 데 효과적이었다.
• RIL 프레임워크는 안정적인 규칙 기반 시작 정책를 제공함으로써 냉시작 문제를 완화하여 초기 성능을 향상시켰다.
• 학습이 진행됨에 따라 일부 규칙가 더 이상 유효하지 않게 되어, DQN이 규칙 기반 행동을 내재화했음을 시사하며, 학습된 정책에 대한 신뢰도를 높였다.
• 설명 가능한 고수준 규칙의 사용은 순수한 블랙박스 딥 러닝에 비해 정책 유지보수, 업데이트, 유사 환경으로의 이식이 더 쉬워졌다.
• 프레임워크는 표준 DQN과 호환성을 유지하며 아키텍처 변경 없이도 샘플 효율성과 안전성을 향상시켰다.