[논문 리뷰] Diagnosing Non-Intermittent Anomalies in Reinforcement Learning Policy Executions (Short Paper)

Natan, Avraham, Stern, Roni외 1명|arXiv (Cornell University)|2017. 07. 20.

Reinforcement Learning in Robotics참고 문헌 11인용 수 11,253

한 줄 요약

이 논문은 신뢰 영역 방법의 샘플 효율성과 안정성, 그리고 표준 정책 기울기 방법의 단순성과 확장성을 결합한 보다 단순하고 안정적이며 샘플 효율적인 강화학습 알고리즘인 Proximal Policy Optimization (PPO)을 소개한다. PPO는 정책 업데이트의 크기를 제한하기 위해 잘린 보조 목적함수를 사용하여 복잡한 신뢰 영역 제약 없이 안정적인 성능을 보장한다. PPO는 연속 제어 벤치마크와 아케이드 게임에서 최신 기준 성능을 달성하며, A2C를 능가하고 ACER와 유사한 성능을 내지만 훨씬 더 낮은 복잡도를 보인다.

ABSTRACT

Due to the safety risks and training sample inefficiency, it is often preferred to develop controllers in simulation. However, minor differences between the simulation and the real world can cause a significant sim-to-real gap. This gap can reduce the effectiveness of the developed controller. In this paper, we examine a case study of transferring an octorotor reinforcement learning controller from simulation to the real world. First, we quantify the effectiveness of the real-world transfer by examining safety metrics. We find that although there is a noticeable (around 100%) increase in deviation in real flights, this deviation may not be considered unsafe, as it will be within > 2m safety corridors. Then, we estimate the densities of the measurement distributions and compare the Jensen-Shannon divergences of simulated and real measurements. From this, we show that the vehicle’s orientation is significantly different between simulated and real flights. We attribute this to a different flight mode in real flights where the vehicle turns to face the next waypoint. We also find that the reinforcement learning controller actions appear to correctly counteract disturbance forces. Then, we analyze the errors of a measurement autoencoder and state transition model neural network applied to real data. We find that these models further reinforce the difference between the simulated and real attitude control, showing the errors directly on the flight paths. Finally, we discuss important lessons learned in the sim-to-real transfer of our controller.

연구 동기 및 목표

• 신뢰 영역 방법의 샘플 효율성과 안정성, 그리고 표준 정책 기울기 방법의 단순성과 확장성의 장점을 결합한 강화학습 알고리즘을 개발하는 것.
• 기존 방법의 한계를 해결하는 것: 순수 정책 기울기의 열악한 샘플 효율성, TRPO의 높은 복잡도, 드롭아웃이나 파라미터 공유를 사용하는 현대 딥러닝 아키텍처와의 호환성 문제.
• 한 번의 데이터 배치에 대해 다중 기울기 업데이트를 허용하면서도 파라미터의 파괴적인 변화를 방지할 수 있는 일阶 최적화 방법을 설계하는 것.
• MuJoCo 연속 제어 작업과 아케이드 게임을 포함한 다양한 벤치마크에서 성능을 평가하여 샘플 복잡도와 강건성 면에서 뛰어난 성능을 입증하는 것.

제안 방법

• 정책 개선의 낙관적 하한선으로 작용하는 잘린 보조 목적함수 LCLIP(θ) = E_t[min(r_t(θ)A_t, clip(r_t(θ), 1-ϵ, 1+ϵ)A_t)] 를 제안한다.
• 정책 업데이트 크기를 측정하기 위해 확률 비율 r_t(θ) = π_θ(a_t|s_t)/π_θ_old(a_t|s_t) 를 사용하며, 과도한 업데이트를 방지하기 위해 클리핑을 적용한다.
• 동일한 데이터셋에 대해 다중 에포크의 미니배치 확률적 기울기 상승을 수행하여 샘플 효율성을 향상시킨다.
• 보수적인 업데이트 전략을 적용: 목적함수는 잘린 버전에 의해 제한되며, 이는 과도한 정책 이동으로부터의 성능 향상이 없음을 보장한다.
• 공액 기울기나 헤시안 근사가 필요 없는 간단한 일阶 최적화 기법(예: Adam)을 사용한다.
• 표준 정책 기울기 프레임워크에 최소한의 코드 수정으로 구현 가능하여 실용성이 매우 높다.

실험 결과

연구 질문

• RQ1 단순한 일阶 정책 최적화 방법이 복잡한 TRPO의 복잡성 없이도 샘플 효율성과 안정성을 달성할 수 있는가?
• RQ2 잘린 보조 목적함수는 샘플된 데이터에 대해 다중 최적화 루프를 허용하면서도 파괴적인 정책 업데이트를 효과적으로 방지하는가?
• RQ3 연속 제어 및 아케이드 작업에서 PPO는 A2C, ACER, TRPO와 비교해 샘플 효율성과 최종 성능 면에서 어떻게 성과를 내는가?
• RQ4 PPO는 광범위한 환경에서 광범위한 초모수 튜닝 없이도 잘 일반화되는가?

주요 결과

• ϵ = 0.2로 설정한 PPO는 연속 제어 벤치마크에서 평균 정규화 점수 0.82를 기록하여 테스트된 모든 설정과 방법보다 뛰어난 성능을 보였다.
• MuJoCo 환경에서 PPO는 조정된 A2C, 신뢰 영역을 적용한 A2C, 적응적 스텝 사이즈를 사용한 순수 정책 기울기, TRPO의 최적화된 버전을 거의 모든 작업에서 능가했다.
• 아케이드 벤치마크에서 PPO는 전체 훈련 기간 동안의 평균 보상 기반으로 49개 게임 중 30개를 승리했으며, A2C(1승)와 비교해 뚜렷한 우위를 보였다.
• 최종 100 에피소드 동안 PPO는 19개 게임을 승리했으며, A2C(1승)를 능가하고 ACER(28승)와 동률을 이뤘다. 이는 뛰어난 최종 성능을 보여준다.
• ϵ = 0.2로 설정한 잘린 목적함수가 최고의 성능을 냈으며, 적응적 KL 페널티와 고정된 β 페널티 방법은 성능이 열 劣했다.
• PPO는 복잡한 3차원 히우먼드로이드 작업, 즉 전진 달리기, 목표물 재위치, 장애물 회피 등에서도 높은 성능를 기록하여 고차원 제어 문제에 대한 확장성을 입증했다.