[논문 리뷰] Causality-driven Hierarchical Structure Discovery for Reinforcement Learning

Shaohui Peng, Xing Hu외 10명|arXiv (Cornell University)|2022. 10. 13.

Reinforcement Learning in Robotics인용 수 13

한 줄 요약

이 논문은 환경 변수 간의 인과관계를 활용하여 낮은 품질의 무작위 탐색에 의존하는 기존의 비효율적 탐색 방식을 대체하는 인과관계 기반 계층적 강화학습 프레임워크인 CDHRL을 제안한다. 이 방법은 인과관계 탐지와 하위목표 계층 구축을 반복적으로 향상시켜 2D-Minecraft 및 Eden과 같은 복잡한 환경에서 탐색 효율성과 학습 속도를 크게 향상시킨다. 기존 최고 수준의 방법들에 비해 뛰어난 성능을 발휘한다.

ABSTRACT

Hierarchical reinforcement learning (HRL) effectively improves agents' exploration efficiency on tasks with sparse reward, with the guide of high-quality hierarchical structures (e.g., subgoals or options). However, how to automatically discover high-quality hierarchical structures is still a great challenge. Previous HRL methods can hardly discover the hierarchical structures in complex environments due to the low exploration efficiency by exploiting the randomness-driven exploration paradigm. To address this issue, we propose CDHRL, a causality-driven hierarchical reinforcement learning framework, leveraging a causality-driven discovery instead of a randomness-driven exploration to effectively build high-quality hierarchical structures in complicated environments. The key insight is that the causalities among environment variables are naturally fit for modeling reachable subgoals and their dependencies and can perfectly guide to build high-quality hierarchical structures. The results in two complex environments, 2D-Minecraft and Eden, show that CDHRL significantly boosts exploration efficiency with the causality-driven paradigm.

연구 동기 및 목표

• 무작위 기반 탐색 전략으로 인해 발생하는 계층적 강화학습의 낮은 탐색 효율성 문제를 해결하기 위해.
• 희소 보상 환경에서 고품질의 계층적 구조(하위목표 및 그 의존성)를 자동으로 탐지하기 위해.
• 하위목표 계층 구축의 품질과 효율성을 향상시키기 위해 무작위 탐색을 인과관계 기반 탐지로 대체하기 위해.
• 인과관계 탐지와 하위목표 계층 구축 간의 반복적이고 상호 강화되는 발전을 가능하게 하기 위해.
• 복잡한 하위목표 의존성 구조를 가진 환경에서 학습 효율성과 최종 성능을 향상시키기 위해.

제안 방법

• CDHRL은 인과관계 탐지와 하위목표 계층 구축을 번갈아가며 수행하는 반복적 부스팅 프레임워크를 사용한다.
• 인과관계 탐지는 하위목표 기반 정책을 통해 수집한 간섭 데이터를 활용해 제어 가능한 환경 변수 간의 인과관계를 식별한다.
• 하위목표 계층 구축은 제어 가능한 변수의 변화로 간주되는 도달 가능한 하위목표를 식별하고, 발견된 인과관계 의존성에 따라 이를 정렬한다.
• 프레임워크는 계층적 정책을 사용해 타겟팅된 간섭 데이터를 생성하여 인과관계 그래프의 정확도를 향상시키고 더 효율적인 탐지를 가능하게 한다.
• 인과관계 구조는 하위목표 학습 순서를 추론하는 데 사용되어 의존성을 존중하고 학습의 안정성을 높인다.
• 이 방법은 이미지 기반 환경에서 이면적 인코더를 통합하여 인과 분석을 위한 이산적 환경 변수를 추출한다.

실험 결과

연구 질문

• RQ1 환경 변수 간의 인과관계가 강화학습에서 계층적 구조 탐지에 효과적으로 활용될 수 있는가?
• RQ2 무작위 기반 탐색에 비해 인과관계 기반 탐지 전략이 고품질의 하위목표 계층을 더 잘 탐지할 수 있는가?
• RQ3 인과관계 탐지와 하위목표 계층 구축 간의 반복적 상호작용이 학습 효율성을 어떻게 향상시키는가?
• RQ4 인과관계 기반 계층이 복잡한 환경에서 탐색과 학습 속도를 어느 정도 향상시키는가?
• RQ5 인과관계 기반 하위목표 순서는 비인과적 방법에 비해 더 안정적이고 빠른 수렴을 이끌 수 있는가?

주요 결과

• CDHRL은 2D-Minecraft 및 Eden 환경에서 무작위 탐색을 인과관계 기반 탐지로 대체함으로써 탐색 효율성을 크게 향상시켰다.
• 계층적 정책 간섭 데이터를 활용해 학습한 인과관계 그래프는 랜덤 액션 기반 학습에 비해 진정한 인과관계 구조에 비해 더 낮은 구조 허밍 거리(SHD)와 구조적 간섭 거리(SID)를 기록했다.
• 특히 인과관계에 기반한 올바른 하위목표 순서로 인해 MEGA에 비해 Eden에서 MeatIncrease 및 SatietyIncrease와 같은 하위목표에서 더 빠르고 안정적인 수렴을 달성했다.
• 이 방법은 짧은 단기 경로를 건너뛰고 장기적 인과 경로(예: Stick → Iron Ore)를 탐지함으로써 학습 속도와 일반화 능력을 향상시켰다.
• 인과관계를 기반으로 한 하위목표 계층은 작고 더 효율적인 다중 수준 정책 학습을 가능하게 하기 위해 액션 공간을 축소시켰다.
• CDHRL은 최종 성능과 학습 속도 면에서 HAC 및 커리큘럼 학습 강화된 HRL과 같은 최고 수준의 HRL 방법들을 모두 능가했다.