[논문 리뷰] Continuous Neural Algorithmic Planners

Yu He, Petar Veličković외 2명|arXiv (Cornell University)|2022. 11. 29.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 행동 공간을 이산화하는 버킷화와 대규모 계획 그래프를 관리하기 위한 선택적 샘플링 전략을 활용하여 신경 알고리즘 추론을 연속 제어로 확장하는 Continuous Neural Algorithmic Planners (CNAP)을 소개한다. CNAP은 저자료, 고차원적인 MuJoCo 환경에서 PPO와 같은 모델 프리 베이스라인에 비해 뛰어난 샘플 효율성과 성능을 달성하며, 복잡한 연속 제어 작업에 알고리즘 추론을 통합하는 것이 가능함을 보여준다.

ABSTRACT

Neural algorithmic reasoning studies the problem of learning algorithms with neural networks, especially with graph architectures. A recent proposal, XLVIN, reaps the benefits of using a graph neural network that simulates the value iteration algorithm in deep reinforcement learning agents. It allows model-free planning without access to privileged information about the environment, which is usually unavailable. However, XLVIN only supports discrete action spaces, and is hence nontrivially applicable to most tasks of real-world interest. We expand XLVIN to continuous action spaces by discretization, and evaluate several selective expansion policies to deal with the large planning graphs. Our proposal, CNAP, demonstrates how neural algorithmic reasoning can make a measurable impact in higher-dimensional continuous control settings, such as MuJoCo, bringing gains in low-data settings and outperforming model-free baselines.

연구 동기 및 목표

• 기존 연구에서 다루지 않은 연속 행동 공간으로 암묵적 계획을 신경 알고리즘 추론으로 확장하는 것.
• 고차원 연속 제어에서 계획 그래프의 확장성 문제를 해결하기 위해 선택적 이웃 샘플링 전략을 도입하는 것.
• 신경 알고리즘 추론이 복잡한 실제 제어 작업에서 연속 역학을 가진 환경에서 샘플 효율성과 일반화 능력을 유지할 수 있는지 평가하는 것.
• 대규모 계획 그래프에서 다양한 샘플링 전략이 학습 안정성과 성능에 미치는 영향을 조사하는 것.
• 이산 행동 공간을 초월해 알고리즘 추론을 고차원 연속 제어에 적용하는 것이 가능한지 보여주는 것.

제안 방법

• 그래프 신경망 기반 값 반복에 적합하도록 연속 행동 공간을 균일한 버킷으로 이산화한다.
• 현재 상태에서 계획 수명 주기 동안 확장하여 계획 그래프를 구성하며, 행동은 버킷화된 행동 공간에서 샘플링한다.
• 네 가지 이웃 샘플링 전략을 사용한다: 수동-정규분포, 학습-정규분포, 재사용 정책, 학습-샘플링을 통해 그래프 크기를 줄인다.
• 메시지 전달 기반 GNN을 사용하여 계획 그래프에서 값 반복을 시뮬레이션하며, 벨먼 최적성 방정식을 통해 상태 값 업데이트를 수행한다.
• 정책 기반 강화 학습 목표를 사용하여 에이전트를 훈련시키며, GNN이 계획을 위한 가치 추정치를 제공한다.
• GNN을 인덕티브 바이어스로 통합하여, 특별한 환경 정보에 접근하지 못하는 상황에서도 암묵적 계획을 가능하게 한다.

실험 결과

연구 질문

• RQ1 고차원 행동 공간을 가진 연속 제어 작업으로 신경 알고리즘 추론을 효과적으로 확장할 수 있는가?
• RQ2 다양한 이웃 샘플링 전략이 연속 제어에서 계획 그래프의 확장성과 성능에 어떤 영향을 미치는가?
• RQ3 GNN 기반 알고리즘 추론 통합이 저자료 환경에서 샘플 효율성과 일반화 능력을 향상시키는가?
• RQ4 복잡한 MuJoCo 환경에서 CNAP의 성능은 PPO와 같은 모델 프리 베이스라인에 비해 어떻게 다른가?
• RQ5 파rametric와 non-parametric 샘플링 전략의 영향은 학습 안정성과 수렴에 어떤 영향을 미치는가?

주요 결과

• Swimmer와 HalfCheetah에서 저자료 설정에서 CNAP은 PPO를 능가하며, 더 높은 평균 에피소드 보상과 더 빠른 학습 속도를 기록한다.
• Humanoid(행동 차원=17)에서 모든 CNAP 변종은 PPO를 능가하며, 비모수적 샘플링(예: 수동-정규분포)이 가장 빠른 지식 습득을 보였다.
• HumanoidStandup에서 CNAP는 안정적인 앉기 자세를 유지하는 반면, PPO 에이전트는 빠르게 넘어지며, 유사한 평균 수익에도 불구하고 더 높은 내구성을 보였다.
• 정성적 분석 결과, CNAP 에이전트는 균형을 유지하고 안정적인 이동(예: Humanoid에서 걷기)을 수행하는 반면, PPO 에이전트는 자주 넘어졌다.
• 비모수적 샘플링 전략(예: 수동-정규분포)을 사용할 경우, 학습이 더 안정되었으며, 이는 훈련 가능한 파라미터 수가 적기 때문일 것이다.
• CNAP는 신경 알고리즘 추론이 고차원 연속 제어 작업에 성공적으로 적용될 수 있음을 보여주며, 이는 이산 행동 공간을 초월한 확장성을 입증한다.