[논문 리뷰] Value Propagation Networks

Nantas Nardelli, Gabriel Synnaeve외 4명|arXiv (Cornell University)|2018. 05. 28.

Reinforcement Learning in Robotics참고 문헌 31인용 수 8

한 줄 요약

Value Propagation Networks (VProp)는 강화학습을 통해 학습되는 미분 가능하고 파rameter 효율적인 계획 모듈을 제안하며, 이는 정적 및 동적 격자 세계에서 탐색 작업을 해결하기 위한 Value Iteration 기반이다. 이 방법은 더 큰 지도와 복잡한 동역학으로의 일반화를 가능하게 하며, 전문가 트레이젝터리나 커리큘럼 학습이 필요 없이 강력한 성능을 달성한다. 특히 확률적이고 고차원적 관측 환경에서도 성능이 뛰어나다.

ABSTRACT

We present Value Propagation (VProp), a set of parameter-efficient differentiable planning modules built on Value Iteration which can successfully be trained using reinforcement learning to solve unseen tasks, has the capability to generalize to larger map sizes, and can learn to navigate in dynamic environments. We show that the modules enable learning to plan when the environment also includes stochastic elements, providing a cost-efficient learning system to build low-level size-invariant planners for a variety of interactive navigation problems. We evaluate on static and dynamic configurations of MazeBase grid-worlds, with randomly generated environments of several different sizes, and on a StarCraft navigation scenario, with more complex dynamics, and pixels as input.

연구 동기 및 목표

• 전문가 트레이젝터리가 필요 없이 강화학습을 통해 훈련할 수 있는 파rameter 효율적이고 미분 가능한 계획 모듈을 개발한다.
• 학습 중에 관측하지 못한 더 큰 지도 크기와 더 긴 계획 수명 주기로의 일반화를 가능하게 한다.
• 전이 함수가 복잡한 동적, 확률적, 부분 관측 가능한 환경으로 Value Iteration 기반 계획을 확장한다.
• 고차원 입력(예: 픽셀)이 있는 환경에서 계획 모듈의 엔드 투 엔드 훈련을 수행하면서도 샘플 효율성을 유지한다.
• 적대적 엔티티와 노이즈가 있는 동작이 존재하는 복잡한 탐색 작업에서의 강인성과 확장성을 입증한다.

제안 방법

• VProp와 MVProp를 설계하여, 계획 단계를 통해 역전파가 가능한 방식으로 Value Iteration을 구현하는 딥 뉴럴 네트워크 모듈로 구현한다.
• 2D 컨볼루션 레이어를 사용하여 보상과 가치를 격자 셀 간에 전파함으로써 격자 세계 환경에서의 상태 전이와 보상을 모델링한다.
• 최적의 계획자로부터의 지도 학습이 필요 없이 희소 보상과 함께 강화학습을 사용하여 모듈을 엔드 투 엔드로 훈련시킨다.
• 가장 긴 계획 수명 주기를 다루기 위해 값 전파 과정을 펼쳐내는 순환 또는 반복 추론 메커니즘을 통합한다.
• Sparse 보상 환경(예: StarCraft)에서 학습을 가속화하기 위해 훈련 중에 혼합 커리큘럼 전략을 적용한다. 특히 VIN 기준선의 경우 유의미한 성능 향상이 있다.
• VProp 모듈 이전에 컨볼루션 및 풀링 레이어를 추가하여 픽셀 입력을 처리할 수 있도록 아키텍처를 확장함으로써 시각 기반 계획을 가능하게 한다.

실험 결과

연구 질문

• RQ1 전문가 시연 없이 강화학습을 통해 성공적으로 훈련되는 Value Iteration 기반의 미분 가능한 계획 모듈을 설계할 수 있는가?
• RQ2 이러한 모듈이 훈련 데이터에서 관측하지 못한 더 큰 지도 크기와 더 긴 계획 수명 주기로 얼마나 잘 일반화되는가?
• RQ3 StarCraft와 같은 환경에서 전이가 확률적이고 적대적 엔티티가 존재하는 동적 환경에서도 이 방법이 잘 작동하는가?
• RQ4 구조적 상태 표현 대비 고차원 관측(예: 원시 픽셀)에서 모델의 성능은 어떻게 되는가?
• RQ5 비마르코프 동역학을 가진 복잡하고 상호작용적인 환경에서 샘플 효율성과 계획 정확성이 유지되는가?

주요 결과

• VProp는 전문가 트레이젝터리가 없이도 동적 격자 세계에서 계획을 성공적으로 학습하며, 32x32 지도로의 일반화에서 VIN 기준선을 능가한다.
• MVProp는 8x8 지도에서만 훈련되었음에도 불구하고 32x32 지도와 같은 더 큰 지도 크기로의 일반화를 효과적으로 수행하여, 전혀 경험하지 못한 지도 크기로의 강력한 제로샷 일반화 능력을 보였다.
• 확률적 동작과 동적 장애물이 존재하는 환경에서도 일반화가 가능하며, 각 단계에서 재계획을 수행하고 복잡한 시나리오에서도 성공적으로 탐색한다.
• StarCraft 탐색 작업에서 VProp는 적 대상의 자동 공격 행동을 감안하여 경로를 회피하는 계획을 학습하며, 훈련 중에 관측하지 못한 시나리오에서도 높은 성공률를 달성한다.
• 픽셀 입력에 적용했을 경우, 컨볼루션 레이어를 추가한 VProp 아키텍처는 상태 기반 버전과 비교해 유사한 성능을 보이며 고차원 관측에 대한 강인성을 입증한다.
• VIN에 비해 VProp는 더 뛰어난 샘플 효율성과 더 나은 복잡한 전이 함수 모델링 능력을 보이며, 비정적 및 적대적 환경에서 특히 유리하다.