[논문 리뷰] Symbolic Network: Generalized Neural Policies for Relational MDPs

Sankalp Garg, Aniket Bajpai외 1명|arXiv (Cornell University)|2020. 02. 18.

Bayesian Modeling and Causal Inference참고 문헌 32인용 수 8

한 줄 요약

SymNet는 RDDL로 표현된 관계적 마르코프 결정 과정(RMDPs)을 위한 일반화된 정책을 학습하는 새로운 신경망 아키텍처이다. 문제 인스턴스를 그래프 구조적 표현으로 변환하고, 그래프 신경망을 사용하여 상태 및 행동 임베딩을 계산함으로써 작동한다. 이는 랜덤 정책보다 초깃값 성능이 뛰어나며, 개별 인스턴스에서 새로 학습된 정책과 자주 유사하거나 이를 초월한다. 이는 종단간, 도메인 독립적인 신경망 기반의 관계적 계획 수립의 가능성을 입증한다.

ABSTRACT

A Relational Markov Decision Process (RMDP) is a first-order representation to express all instances of a single probabilistic planning domain with possibly unbounded number of objects. Early work in RMDPs outputs generalized (instance-independent) first-order policies or value functions as a means to solve all instances of a domain at once. Unfortunately, this line of work met with limited success due to inherent limitations of the representation space used in such policies or value functions. Can neural models provide the missing link by easily representing more complex generalized policies, thus making them effective on all instances of a given domain? We present SymNet, the first neural approach for solving RMDPs that are expressed in the probabilistic planning language of RDDL. SymNet trains a set of shared parameters for an RDDL domain using training instances from that domain. For each instance, SymNet first converts it to an instance graph and then uses relational neural models to compute node embeddings. It then scores each ground action as a function over the first-order action symbols and node embeddings related to the action. Given a new test instance from the same domain, SymNet architecture with pre-trained parameters scores each ground action and chooses the best action. This can be accomplished in a single forward pass without any retraining on the test instance, thus implicitly representing a neural generalized policy for the whole domain. Our experiments on nine RDDL domains from IPPC demonstrate that SymNet policies are significantly better than random and sometimes even more effective than training a state-of-the-art deep reactive policy from scratch.

연구 동기 및 목표

• 무한한 문제 인스턴스에 걸쳐 효과적이고 일반화된 정책을 학습하는 데 오랫동안 지속된 과제를 해결하기 위해.
• 기존의 기호 기반 기능 접근 방식의 한계를 극복하기 위해 신경망의 표현 능력을 활용하여 RMDP 기반 계획에 대한 관심을 재활성화하기 위해.
• 재학습 없이 크기가 다른 문제 인스턴스 간에 일반화할 수 있는 도메인 독립적이고 파rameter-tied 신경 아키텍처를 개발하기 위해.
• 학습된 파rameter를 사용하여 새로운, 더 큰 테스트 인스턴스에 대해 단일 순방향 전파로 효율적인 추론을 가능하게 하여, 전체 도메인에 대해 하나의 신경 정책을 효과적으로 학습하기 위해.

제안 방법

• 각 RDDL 문제 인스턴스를 객체 트리플을 노드로, 액션 유도된 술어 상호작용을 간선으로 가지는 인스턴스 그래프로 변환한다.
• 관계적 상태 특징에서 노드 임베딩을 계산하기 위해 그래프 신경망(GNNs)을 사용하여 상태 내의 구조적 및 의미적 관계를 포착한다.
• 관련 객체 트리플의 임베딩과 함께 첫 번째 순서 기호를 기반으로 각 지상 액션의 점수를 계산함으로써 신경 점수 기반의 액션 선택을 가능하게 한다.
• 도메인의 훈련 인스턴스 세트에서 강화학습을 사용하여 전체 모델을 종단간으로 훈련하고, 모든 인스턴스 간에 파rameter를 공유한다.
• 사전 훈련된 SymNet 모델을 새로운 테스트 인스턴스에 대해 단일 순방향 전파로 적용하여, 미세조정 없이 일반화된 정책을 생성한다.
• RDDL의 첫 번째 순서 구조를 활용하여 크기 불변성과 도메인 독립성을 유지함으로써, 다양한 크기의 문제 인스턴스 간의 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경망은 기호 기반 기능의 표현 한계를 극복하고 RMDPs에 대해 일반화된 정책을 효과적으로 표현할 수 있는가?
• RQ2 재학습 없이도 동일한 RDDL 도메인의 다양한 문제 인스턴스 간에 단일 사전 훈련된 신경 모델이 일반화할 수 있는가?
• RQ3 사전 훈련된 도메인 일반화 신경 정책의 성능은 랜덤 정책과 인스턴스별로 특화된 딥 강화학습 정책과 비교해 어떻게 되는가?
• RQ4 그래프 기반 신경 아키텍처는 RMDPs의 관계적 구조와 액션 의존성의 정도까지 얼마나 잘 포착할 수 있는가?

주요 결과

• SymNet는 테스트한 9개의 RDDL 도메인 전반에서 랜덤 정책보다 뚜렷이 뛰어난 성능을 보이며 강력한 일반화 능력을 입증했다.
• 테스트 인스턴스의 28%에서 SymNet는 동일한 인스턴스에서 새로 학습된 정책보다 더 높은 보상을 달성하여 강력한 제로샷 성능를 입증했다.
• 18개 인스턴스 중 15개에서 SymNet는 TraPSNet를 능가했으며, 이는 액션 기호별로 특화된 그래프 구조가 정책 학습에 도움이 된다는 것을 시사한다.
• 네 도메인(Navigation, Wildfire 등)에서는 SymNet가 온라인 플래너인 PROST의 최첨단 성능을 초월했으며, 이는 오프라인 정책임에도 불구하고 성능이 뛰어나다는 것을 의미한다.
• 다섯 도메인에서는 PROST가 SymNet를 능가했으며, 이는 SymNet의 정책가 아직 최적에 도달하지 못했고 향후 개선 여지가 있음을 시사한다.
• 학습 중에 볼 수 없었던 더 큰 테스트 인스턴스에 대해서도 모델이 효과적으로 일반화됨을 확인하여 크기 불변성과 도메인 독립성의 본질을 확인했다.