[논문 리뷰] Generalization, Mayhems and Limits in Recurrent Proximal Policy Optimization

Marco Pleines, Matthias Pallasch외 2명|arXiv (Cornell University)|2022. 05. 23.

Adversarial Robustness in Machine Learning인용 수 10

한 줄 요약

이 논문은 시각적 관측과 이산 행동 공간을 위한 재귀적 Proximal Policy Optimization (PPO)를 정확하게 구현하기 위한 상세한 가이드를 제공한다. 이는 시간에 따라 잘라서 역전파하는 방법(Truncated BPTT)을 사용하며, 적절한 데이터 처리, 은닉 상태 관리 및 손실 마스킹을 강조한다. 논문은 기억 능력의 한계와 산만함을 시험하는 두 가지 새로운 환경인 Mortar Mayhem와 Searing Spotlights를 도입한다. Mortar Mayhem에서는 훈련 시드 수를 늘릴수록 강력한 일반화 성능를 보이며, Searing Spotlights에서는 실패함을 통해 재귀적 PPO가 높은 산만함 조건에서 내재된 한계를 드러낸다.

ABSTRACT

At first sight it may seem straightforward to use recurrent layers in Deep Reinforcement Learning algorithms to enable agents to make use of memory in the setting of partially observable environments. Starting from widely used Proximal Policy Optimization (PPO), we highlight vital details that one must get right when adding recurrence to achieve a correct and efficient implementation, namely: properly shaping the neural net's forward pass, arranging the training data, correspondingly selecting hidden states for sequence beginnings and masking paddings for loss computation. We further explore the limitations of recurrent PPO by benchmarking the contributed novel environments Mortar Mayhem and Searing Spotlights that challenge the agent's memory beyond solely capacity and distraction tasks. Remarkably, we can demonstrate a transition to strong generalization in Mortar Mayhem when scaling the number of training seeds, while the agent does not succeed on Searing Spotlights, which seems to be a tough challenge for memory-based agents.

연구 동기 및 목표

• 부분 관측 환경에 재귀를 통합하는 데 있어 중요한데도 잘 문서화되어 있지 않은 공학적 과제를 해결하기 위해.
• 시각적 입력과 이산 행동 공간을 위한 재귀적 PPO를 위한 완전히 문서화되고 프로덕션 준비가 된 구현을 제공하기 위해.
• 기억 능력의 한계와 산만함을 테스트하는 새로운 환경인 Mortar Mayhem와 Searing Spotlights를 도입하여 기억 기반 에이전트의 깊이 있는 평가를 가능하게 하기 위해.
• 특히 동적인 노이즈 조건에서 장기적 기억 작업을 처리할 때 재귀적 PPO의 한계를 조사하기 위해.
• 은닉 상태의 오래된 상태와 이득 정규화가 온-폴리시 강화학습에서 훈련 안정성과 성능에 미치는 영향을 분석하기 위해.

제안 방법

• 장기적인 시퀀스를 처리할 수 있도록 효율적으로 재귀적 PPO를 훈련하기 위해 시간에 따라 잘라서 역전파하는 방법(TBPTT)을 사용한다. 이는 장기간의 시간적 맥락에 걸쳐 기울기 흐름을 가능하게 한다.
• 시퀀스 처리를 위해 신경망의 순방향 전파를 설계하여 적절한 은닉 상태 초기화와 시간 단계 간의 반복을 보장한다.
• 손실 계산 시 패딩된 시퀀스 타임스텝에 기울기 업데이트가 발생하지 않도록 패딩과 마스킹을 사용하여 훈련 안정성을 확보한다.
• 일致된 초기화 전략을 사용해 시퀀스의 시작 지점에서 은닉 상태를 샘플링함으로써 기울기 소실이나 데이터 泄露를 방지한다.
• 장기적인 시간 동안 기억을 유지하고 업데이트해야 하는 과제를 요구하는 커스텀 환경—Mortar Mayhem와 Searing Spotlights—를 설계한다.
• 각 실험에 대해 5개의 랜덤 시드와 평가에 대해 10개의 새로운 시드를 사용하는 베이스라인 훈련 파이프라인을 구현하여 강력한 일반화 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 시각적 입력과 이산 행동을 갖는 Proximal Policy Optimization (PPO)에 재귀를 정확하고 효율적으로 통합하기 위해 필요한 핵심 구현 세부 사항은 무엇인가?
• RQ2 Mortar Mayhem와 같은 기억 집약적 환경에서 훈련 시드 수를 늘릴 경우 일반화 성능에 어떤 영향을 미치는가?
• RQ3 다양한 시드로 훈련된 재귀적 PPO가 새로운, 알려지지 않은 환경으로의 일반화 능력은 어느 정도이며, 기존의 백댄스 환경과 비교해 볼 때 어떠한가?
• RQ4 Searing Spotlights 환경과 같은 높은 산만함 과제에 직면했을 때 재귀적 PPO의 내재된 한계는 무엇인가?
• RQ5 오래된 은닉 상태와 이득을 갱신하는 것이 온-폴리시 설정에서 재귀적 PPO의 훈련 안정성이나 성능 향상에 기여하는가?

주요 결과

• Mortar Mayhem에서는 훈련 시드 수를 늘릴수록 강력한 일반화 성능가 나타나, 다양한 경험을 통해 제로샷 일반화 성능가 향상됨을 시사한다.
• Searing Spotlights는 단순화된 형태조차도 에이전트가 해결하지 못함을 통해, 랜덤으로 움직이는 조명이 표준 재귀적 PPO가 처리하기에 너무 도전적인 노이즈 환경임을 시사한다.
• 오래된 은닉 상태와 이득을 갱신하는 것은 성능 향상에 기여하지 않았으며, 이는 테스트된 설정에서 이 계산적 오버헤드에 대해 유의미한 이득이 없음을 시사한다.
• 적절한 마스킹, 시퀀스 처리 및 TBPTT를 포함한 기본 구현은 안정적인 훈련과 정확한 행동을 달성하여 공학 파이프라인의 타당성을 검증한다.
• 백댄스 환경은 훈련 시드에서는 높은 성능를 보였지만, 새로운 시드에서는 우연보다 못한 성능를 보이며 일반화 능력이 떨어짐을 시사한다. 이는 Mortar Mayhem와 대비된다.
• 결과는 고도로 산만한 환경에서 재귀적 PPO의 한계를 극복하기 위해 트랜스포머 기반의 에피소딕 메모리, 예를 들어 계층적 청크 어텐션 메모리와 같은 기술이 필요할 수 있음을 시사한다.