[논문 리뷰] Incremental Reinforcement Learning --- a New Continuous Reinforcement Learning Frame Based on Stochastic Differential Equation methods

Tianhao Chen, Limei Cheng외 3명|arXiv (Cornell University)|2019. 08. 08.

Reinforcement Learning in Robotics참고 문헌 27인용 수 5

한 줄 요약

이 논문은 확률적 미분 방정식(SDEs) 기반의 새로운 연속 강화학습 프레임워크인 증분 강화학습(IRL)을 제안한다. 이는 동작 연속성과 동작 분산 제어를 보장하며, 환경 예측을 통합함으로써 에이전트가 실시간으로 동작을 사전 조정할 수 있도록 한다. 이로 인해 DDPG와 A3C에 비해 안정성과 부드러움이 향상된다.

ABSTRACT

Continuous reinforcement learning such as DDPG and A3C are widely used in robot control and autonomous driving. However, both methods have theoretical weaknesses. While DDPG cannot control noises in the control process, A3C does not satisfy the continuity conditions under the Gaussian policy. To address these concerns, we propose a new continues reinforcement learning method based on stochastic differential equations and we call it Incremental Reinforcement Learning (IRL). This method not only guarantees the continuity of actions within any time interval, but controls the variance of actions in the training process. In addition, our method does not assume Markov control in agents' action control and allows agents to predict scene changes for action selection. With our method, agents no longer passively adapt to the environment. Instead, they positively interact with the environment for maximum rewards.

연구 동기 및 목표

• DDPG와 A3C와 같은 기존 연속 강화학습 방법의 이론적 취약점을 해결함. 특히 동작 연속성과 분산 제어 측면에서의 문제점을 다룸.
• 가치 추정 네트워크의 존재성과 유일성을 보장하는 새로운 연속 강화학습 프레임워크를 개발함.
• 에이전트가 환경 상태의 변화를 사전 예측하고 동작을 적극적으로 조정할 수 있도록 함으로써 수동적 적응을 넘어선 사전 조정 기능을 구현함.
• 행동 정책 설계에서 이산 시간 단위와 마르코프 성질에 대한 의존도를 제거함.
• 지속적인 증분 동작 조정을 통해 정보 업데이트 지연을 줄임으로써 실시간 의사결정 능력을 향상시킴.

제안 방법

• 행동 정책을 확률적 미분 방정식(SDEs)을 사용해 수식화하여 시간에 따른 동작의 내재적 연속성을 보장함.
• 미래 상태 변화를 예측하고 증분 동작 조정을 안내하기 위해 환경 예측 네트워크를 도입함.
• SDE 기반의 연속 정책 기울기 방법을 적용하여 A3C와 같은 가우시안 정책 방법에서 유래하는 불연속성 문제를 피함.
• 코모고로프 연속성 정리에 기반해 A3C나 DDPG와 달리 연속적인 동작 경로를 이론적으로 보장함.
• 행동 값이 초과되지 않도록 하면서 정책 안정성을 유지하기 위해 경계 페널티 정규화 항(JRange)을 적용함.
• 이론적 근거를 바탕으로 실제 학습에 활용 가능한 SDE 기반 연속 프레임워크를 이산화함.

실험 결과

연구 질문

• RQ1 이산 시간 단위에 의존하지 않고, 동작 연속성과 분산 제어를 보장하는 연속 강화학습 프레임워크를 설계할 수 있는가?
• RQ2 마르코프 성질을 기반으로 한 가정을 SDE 기반 정책으로 대체할 경우, 연속 제어 과제에서 안정성과 성능 향상이 이루어지는가?
• RQ3 환경 예측은 동적 환경에서의 동작 조정에 대한 반응성과 정확성을 향상시키는 데 기여하는가?
• RQ4 수렴성과 동작의 부드러움 측면에서 SDE 기반 정책은 A3C와 DDPG에 비해 어떻게 비교되는가?
• RQ5 특히 경계 제약 조건과 수렴 속도 측면에서 SDE를 연속 제어에 사용할 경우의 이론적 및 실용적 한계는 무엇인가?

주요 결과

• 제안된 IRL 프레임워크는 동작을 SDE로 모델링함으로써 코모고로프 연속성 조건을 만족시켜 연속적인 동작 경로를 보장함.
• 시뮬레이션 결과(그림 4 참조)에 따르면, IRL은 DDPG와 A3C에 비해 더 부드럽고 안정적인 제어 성능을 달성함.
• 환경 예측 네트워크를 통해 에이전트는 예측된 변화에 기반해 동작을 사전 조정할 수 있어 실시간 의사결정 지연을 감소시킴.
• SDE의 파라미터를 통해 동작 분산을 제어함으로써, DDPG의 노이즈 주입 방식보다 더 나은 무작위성 관리가 가능함.
• 경계 페널티 항(JRange)은 동작 초과 방지에 효과적이지만, 수렴 속도는 여전히 도전 과제로 남아 있음.
• 이론적 분석을 통해 A3C의 가우시안 정책는 코모고로프 조건 실패로 인해 동작 연속성을 보장할 수 없음을 입증함으로써, 기존 방법의 근본적인 한계를 드러냄.