[논문 리뷰] Structure in Deep Reinforcement Learning: A Survey and Open Problems

Aditya Mohan, Amy Zhang외 1명|arXiv (Cornell University)|2023. 06. 28.

Software Engineering Research인용 수 6

한 줄 요약

이 논문은 깊이 강화학습(DRL)에 구조적 인도적 편향(예: 잠재적, 분할형, 관계형, 모듈러 분해 등)을 통합하기 위한 통합 프레임워크를 제안한다. 이는 일곱 가지 설계 패턴을 통해 이루어지며, 문제의 분해 가능성에 대한 보조 정보로서의 구조를 분류하고, 추상화, 보강, 보조 최적화, 보조 모델, 창고화, 환경 생성, 명시적으로 설계된 패턴으로 메서드를 정리함으로써 더 샘플 효율적이고 일반화 가능하며 해석 가능하고 안전한 RL 에이전트를 가능하게 한다. 이는 체계적인 설계 패턴 기반의 RL 연구를 위한 기초를 제공한다.

ABSTRACT

Reinforcement Learning (RL), bolstered by the expressive capabilities of Deep Neural Networks (DNNs) for function approximation, has demonstrated considerable success in numerous applications. However, its practicality in addressing various real-world scenarios, characterized by diverse and unpredictable dynamics, noisy signals, and large state and action spaces, remains limited. This limitation stems from poor data efficiency, limited generalization capabilities, a lack of safety guarantees, and the absence of interpretability, among other factors. To overcome these challenges and improve performance across these crucial metrics, one promising avenue is to incorporate additional structural information about the problem into the RL learning process. Various sub-fields of RL have proposed methods for incorporating such inductive biases. We amalgamate these diverse methodologies under a unified framework, shedding light on the role of structure in the learning problem, and classify these methods into distinct patterns of incorporating structure. By leveraging this comprehensive framework, we provide valuable insights into the challenges of structured RL and lay the groundwork for a design pattern perspective on RL research. This novel perspective paves the way for future advancements and aids in developing more effective and efficient RL algorithms that can potentially handle real-world scenarios better.

연구 동기 및 목표

• 실세계 시나리오에서 DRL의 한계를 해결하기 위해, 낮은 데이터 효율성, 제한된 일반화 능력, 해석 불가능성 등의 문제를 해결한다.
• 다양한 하위 분야에서 DRL에 도메인 구조를 통합하는 산산이 흩어진 접근 방식을 통합한다.
• 구조적 인도적 편향이 학습 성능을 향상시키는 방식을 형식화함으로써, RL에 대한 설계 패턴 관점을 수립한다.
• 잠재적, 분할형, 관계형, 모듈러라는 네 가지 아키토 타입으로 문제의 분해 가능성의 분류를 식별하고 분류한다.
• 문제 특성에 따라 적절한 구조 통합 패턴을 선택할 수 있도록 연구자들을 위한 체계적인 프레임워크를 제공한다.

제안 방법

• 강화학습 문제를 마르코프 결정 과정(MDPs)으로 형식화하고, 상태, 행동, 보상, 동역학을 포함한 RL 파이프라인을 정의한다.
• 보조 정보로서의 '보조 정보'를 도입하며, 여기서 구조는 이러한 정보의 핵심 형태이다.
• 구조를 문제의 분해 가능성에 대한 보조 정보로 정의한다. 특히 잠재적, 분할형, 관계형, 모듈러 아키토 타입으로 표현되며, 문제 조직의 스펙트럼을 나타낸다.
• 일곱 가지 패턴을 제안하여 구조를 통합한다: 추상화, 보강, 보조 최적화, 보조 모델, 창고화, 환경 생성, 명시적으로 설계된.
• 기존의 DRL 방법을 문헌에서 이 패턴들에 매핑함으로써, 실질적으로 구조적 인도적 편향이 이미 어떻게 사용되고 있는지 보여준다.
• 메타-RL 연구를 이 프레임워크로 이끌어내기 위해, 작업의 분해 가능성과 적응 전략, 커리큘럼 설계, 모델 창고화를 연결한다.

Figure 1 : Overview of our framework. Domain knowledge can generally be incorporated into an RL pipeline as side information and can be used to achieve improved performance across metrics such as Sample Efficiency , Generalization , Interpretability , and Safety . We discuss this process in Section

실험 결과

연구 질문

• RQ1 구조적 인도적 편향을 체계적으로 분류하고 깊이 강화학습에 통합하여 성능을 향상시키는 방법은 무엇인가?
• RQ2 RL 문제의 구조적 정보 스펙트럼을 포괄하는 문제 분해 가능성의 핵심 아키토 타입은 무엇인가?
• RQ3 어느 설계 패턴이 가장 효과적으로 구조 지식을 RL 파이프라인에 통합하는가? 그리고 응용 방식에서 어떻게 다를까?
• RQ4 구조 통합이 RL 에이전트의 샘플 효율성, 일반화 능력, 해석 가능성, 안전성 향상에 어떻게 기여하는가?
• RQ5 이 프레임워크는 향후 메타-RL 연구와 RL 시스템의 실세계 구현을 어떻게 이끌 수 있는가?

주요 결과

• 논문은 RL 문제의 구조적 조직 스펙트럼을 대표하는 네 가지 핵심 아키토 타입—잠재적, 분할형, 관계형, 모듈러—를 식별한다.
• 일곱 가지 명확한 패턴이 제안되며, 이는 RL 파이프라인에 구조를 통합하기 위한 것이다: 추상화, 보강, 보조 최적화, 보조 모델, 창고화, 환경 생성, 명시적으로 설계된.
• 이 프레임워크는 기존 방법들을 구조 통합 패턴에 체계적으로 매핑할 수 있게 하여, 다양한 RL 하위 분야 간의 공통 원리를 드러낸다.
• 구조적 분해를 메타-RL과 연결함으로써, 작업의 분해 가능성은 적응 전략, 커리큘럼 학습, 모델 초기화를 이끄는 데 기여할 수 있음을 시사한다.
• 이 연구는 설계 패턴 기반의 RL 접근 방식을 위한 기초를 마련하며, 문제 구조에 기반한 방법 선택 및 개발을 위한 공통 기반을 제공한다.
• 저자는 제안된 프레임워크가 중요한 첫 걸음이지만, 완전하지 않으며, 향후 연구는 패턴의 보다 넓은 체계를 확장하여 분야를 더욱 통합하고 발전시켜야 한다고 결론 내린다.

Figure 2 : The anatomy of an RL pipeline.