[논문 리뷰] Relational Abstractions for Generalized Reinforcement Learning on Symbolic Problems

Rushang Karia, Siddharth Srivastava|arXiv (Cornell University)|2022. 04. 27.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 상태 경로에서 자동으로 생성된 특징을 사용하여 일반화 가능한 관계형 Q함수를 학습하는 관계형 딥 강화학습 방법을 제안한다. 딥 러닝과 관계형 추상화를 활용함으로써, 객체 수와 이름이 다른 더 큰 문제 인스턴스로의 제로샷 전이가 가능해지며, 표준 강화학습 대비 샘플 복잡도를 수개월 수준으로 감소시킨다.

ABSTRACT

Reinforcement learning in problems with symbolic state spaces is challenging due to the need for reasoning over long horizons. This paper presents a new approach that utilizes relational abstractions in conjunction with deep learning to learn a generalizable Q-function for such problems. The learned Q-function can be efficiently transferred to related problems that have different object names and object quantities, and thus, entirely different state spaces. We show that the learned generalized Q-function can be utilized for zero-shot transfer to related problems without an explicit, hand-coded curriculum. Empirical evaluations on a range of problems show that our method facilitates efficient zero-shot transfer of learned knowledge to much larger problem instances containing many objects.

연구 동기 및 목표

• 객체 수가 증가함에 따라 지수적으로 증가하는 심볼릭이고 요소화된 상태공간으로 강화학습을 확장하는 데 도전하는 것.
• 수동으로 코딩된 커리큘럼 없이, 다른 객체 이름과 수량을 가진 문제 인스턴스 간에 정책을 효율적으로 전이할 수 있도록 하는 것.
• 관계 구조를 포착하고 더 큰 인스턴스로의 제로샷 전이를 가능하게 하는 일반화 가능한 Q함수를 학습하는 것.
• 상태 경로에서 자동으로 파생된 특징을 활용하여, 확률적이고 심볼릭 환경에서 샘플 복잡도를 감소시키는 것.

제안 방법

• 이 방법은 객체 수와 이름이 다른 문제 인스턴스 간에 일반화되는 관계형 Q함수를 근사하기 위해 딥 러닝을 사용한다.
• 수동으로 코딩된 특징이나 분석 모델이 필요 없도록, 상태 경로 시퀀스에서 자동으로 특징 목록을 생성한다.
• 객체 수를 뛰어넘는 방식으로 인스턴스 간 전이를 지원하는 일반화된 강화학습(GRL) 프레임워크를 사용해 Q함수를 훈련한다.
• 다층퍼셉트론(MLP)을 사용해 관계형 특징를 처리함으로써, 효율적인 추론과 정책 일반화를 가능하게 한다.
• 작은 문제 인스턴스에서 학습하고 더 큰 인스턴스로 지식을 전이하는 루프 전이 전략을 사용하여, 명시적인 커리큘럼 설계 없이도 학습을 가속화한다.
• 상태 전이에서 유도된 기술적 논리(DL) 기반 특징을 활용해 관계 구조와 역학을 포착한다.

실험 결과

연구 질문

• RQ1 분석적 액션 모델에 접근할 수 없는 관계형 심볼릭 MDP 환경에서 딥 Q함수를 학습할 수 있는가?
• RQ2 상태 경로에서 자동으로 생성된 관계형 특징이 더 큰 문제 인스턴스로 효과적인 제로샷 전이를 지원할 수 있는가?
• RQ3 제안된 GRL 프레임워크는 표준 강화학습에 비해 확률적이고 심볼릭 환경에서 샘플 복잡도를 감소시키는가?
• RQ4 학습된 Q함수는 객체 이름과 수량의 변화에 대해 어느 정도 일반화될 수 있는가?
• RQ5 루프 전이 전략은 수동으로 코딩된 커리큘럼 없이 전이를 효과적으로 가능하게 하는가?

주요 결과

• 제안된 방법은 표준 Q러닝에 비해 더 큰 문제 인스턴스에서 샘플 요구량을 수개월 수준으로 감소시킨다.
• 일반화된 Q함수 덕분에 상태공간이 완전히 다를지라도, 다른 객체 수와 이름을 가진 문제 인스턴스로 제로샷 전이가 가능해진다.
• 특히 더 어려운 복잡한 작업에서 기존 전이 방법보다 우수한 성능을 보이며, 심볼릭이고 확률적인 도메인에서 뛰어난 성능을 발휘한다.
• 상태 경로에서 자동으로 생성된 특징만으로도 뛰어난 성능을 달성할 수 있으며, 분석 모델이나 수동으로 코딩된 특징의 필요성을 줄이거나 제거할 수 있다.
• 루프 전이 전략은 도메인 전용 지식이나 수동으로 코딩된 난이도 평가가 필요 없이 효과적인 커리큘럼 학습을 가능하게 한다.
• 이 방법은 시스템 관리(n) 문제를 포함한 여러 심볼릭 도메인에서 뛰어난 성능을 보이며, 단순한 정책을 대규모 인스턴스로 일반화하는 데 성공한다.