[논문 리뷰] Graph neural induction of value iteration

Andreea Deac, Pierre‐Luc Bacon외 1명|arXiv (Cornell University)|2020. 09. 26.

Reinforcement Learning in Robotics참고 문헌 17인용 수 6

한 줄 요약

이 논문은 단계별로 중간 VI 상태에 대한 감독을 받는 방식으로, 임의의 마르코프 결정 과정(MDP) 구조에서 직접 값 반복(VI)을 실행하는 데 사용할 수 있는 그래프 신경망(GNN)을 제안한다. GNN은 다양한 크기, 구조, 희소성 수준을 가진 분포 외부의 MDP로도 강력한 제로샷 일반화 성능을 보이며, GNN이 고정밀도와 정책 복원 능력을 갖춘 VI 알고리즘을 안정적으로 유도할 수 있음을 보여준다.

ABSTRACT

Many reinforcement learning tasks can benefit from explicit planning based on an internal model of the environment. Previously, such planning components have been incorporated through a neural network that partially aligns with the computational graph of value iteration. Such network have so far been focused on restrictive environments (e.g. grid-worlds), and modelled the planning procedure only indirectly. We relax these constraints, proposing a graph neural network (GNN) that executes the value iteration (VI) algorithm, across arbitrary environment models, with direct supervision on the intermediate steps of VI. The results indicate that GNNs are able to model value iteration accurately, recovering favourable metrics and policies across a variety of out-of-distribution tests. This suggests that GNN executors with strong supervision are a viable component within deep reinforcement learning systems.

연구 동기 및 목표

• 최종 보상에 의존하는 것 외에 중간 단계에 대한 명시적 감독을 통해 값 반복 알고리즘을 직접 학습하는 신경망을 개발하는 것.
• 기본 격자 세계 외의 임의의 MDP로 값 반복 계획을 확장하여 상태 및 행동 공간이 가변적인 MDP를 다룰 수 있도록 그래프 신경망을 사용하는 것.
• GNN이 값 반복의 알고리즘적 구조를 높은 정확도로 학습하고, 예상치 못한 MDP 구조로의 일반화 성능을 확보할 수 있는지 조사하는 것.
• MDP 모델 추론과 미분 가능한 값 반복 실행을 결합하여 계획과 정책 학습의 통합을 가능하게 하는 것.

제안 방법

• 메시지 전달 GNN(MPNN) 아키텍처를 사용하여 그래프 컨볼루션 연산을 통해 값 반복 업데이트 규칙을 직접 모방한다.
• 그래프 내 각 노드(상태)는 이웃 노드로부터 전달된 메시지의 집합을 기반으로 전이 확률과 보상 정보를 활용해 가치 추정치를 갱신한다.
• 메시지 함수는 각 행동과 후속 상태의 기여도를 계산하며, 할인 요소 γ와 전이 확률 p(s′|s,a)의 곱을 모델링하기 위해 학습 가능한 MLP를 사용한다.
• 업데이트 규칙은 벨먼 업데이트를 적용하는 GNN 레이어로 구현되며, v^(t+1)(s) = max_a [r(s,a) + γ Σ p(s′|s,a) v^(t)(s′)] 로 표현된다.
• 모델은 각 VI 반복 단계에서의 중간 가치 추정치에 대한 직접적인 감독을 통해 학습되며, 평균 제곱오차(MSE) 손실을 사용한다.
• 모델은 에르되시-레니, 스케일프리, 희소 그래프 등 다양한 MDP에서 평가되며, 훈련 데이터에 포함되지 않은 그래프 분포와 결정성 있는 미로에 대한 제로샷 일반화 성능을 확인한다.

실험 결과

연구 질문

• RQ1 중간 단계에 대한 감독을 통해 최종 수익만이 아닌 값 반복 알고리즘을 직접 시뮬레이션할 수 있도록 GNN을 훈련시킬 수 있는가?
• RQ2 훈련 과정에서 관찰하지 못한 상태 수나 행동 수를 가진 MDP로 GNN이 얼마나 잘 일반화되는가?
• RQ3 다양한 기저 그래프 구조(예: 스케일프리, 별자리, 트리)를 가진 MDP에서 GNN이 높은 정책 정확도를 유지하는가?
• RQ4 희소하거나 더 결정성 있는 MDP, 예를 들어 표준 8×8 미로에서 성능 저하가 어떻게 발생하는가?
• RQ5 경로에서의 MDP 모델 학습과 결합하여, 모델 기반의 종단 간 미분 가능한 계획 시스템을 구성할 수 있는가?

주요 결과

• MPNN-Sum 모델은 100개의 상태와 20개의 행동을 가진 MDP에서 조사된 분포 외부에서도 정책 정확도 99.3%를 달성했다.
• 훈련 데이터에 포함되지 않은 MDP 그래프 분포, 즉 스케일프리(바라바시-알버트), 별자리, 트리 유형의 그래프로도 강력한 일반화 성능을 보이며, 일관된 정책 정확도 90% 이상을 유지했다.
• 완전히 결정성 있는 8×8 미로에서는 정책 정확도가 70%로 떨어졌으며, 이는 훈련 데이터에 잘 반영되지 않은 희소하고 결정성 있는 그래프에서의 성능 저하를 시사한다.
• 어텐션 기반 메시지 집합(Attn-Sum)을 사용할 경우 MSE는 감소했지만 정책 정확도가 크게 떨어져, 어텐션 메커니즘이 VI에서 가치 순서를 유지하는 데는 덜 적합함을 시사한다.
• 두 레이어의 메시지 함수(MPNN-2-Sum)는 한 레이어 모델과 유사한 성능을 보였으며, 이는 단순한 MLP로도 VI 업데이트를 충분히 모델링할 수 있음을 나타낸다.
• GNN은 낮은 MSE(예: |S|=100, |A|=20일 경우 5.123)를 달성했고 반복 과정에서 안정적으로 수렴하여 VI 동역학의 안정적인 학습을 보였다.