[논문 리뷰] Reinforcement Learning with Parameterized Actions

Warwick Masson, Pravesh Ranchod외 1명|arXiv (Cornell University)|2015. 09. 05.

Reinforcement Learning in Robotics참고 문헌 16인용 수 62

한 줄 요약

이 논문은 이산 동작에 연속적인 파라미터를 추가한 파라미터화된 동작을 갖는 마르코프 결정 과정(MDP)을 위한 모델 프리 모델링 강화 학습 알고리즘인 Q-PAMDP를 소개한다. 이 알고리즘은 동작 선택과 파라미터 선택 정책을 번갈아 학습하며 국소 최적점으로 수렴함을 증명하고, 직접 정책 탐색 및 고정 파라미터 SARSA보다 목표 득점 및 플랫폼 도메인에서 뛰어난 성능을 보인다.

ABSTRACT

We introduce a model-free algorithm for learning in Markov decision processes with parameterized actions-discrete actions with continuous parameters. At each step the agent must select both which action to use and which parameters to use with that action. We introduce the Q-PAMDP algorithm for learning in these domains, show that it converges to a local optimum, and compare it to direct policy search in the goal-scoring and Platform domains.

연구 동기 및 목표

• 표준 강화 학습이 이산 선택과 연속적 파라미터화가 필요한 동작을 다루는 데에 한계가 있음을 해결한다.
• 다른 동작(예: 슛, 패assing, 달리기 등)이 각각 다른 연속적 파라미터화를 갖는 유연하고 구조화된 동작 공간을 가능하게 한다.
• 모델이 필요 없이 동작 선택과 파라미터 값에 대한 공동 최적화를 수행하는 학습 알고리즘을 개발한다.
• 적절한 업데이트 규칙 하에 국소 최적점으로 수렴함을 보장한다.
• 로봇 주행 및 볼 슛팅 과제와 같은 정밀한 동작 제어가 요구되는 도메인에서 방법을 실증적으로 평가한다.

제안 방법

• 동작을 (이산 동작, 연속적 파라미터)의 튜플로 구성하는 파라미터화된 동작 MDP(PAMDP)로 문제를 수리적으로 정의한다.
• Q-PAMDP를 제안하며, 이는 이산 동작에 대한 정책 학습과 각 동작에 대한 파라미터 최적화를 번갈아 수행하는 이중 단계 알고리즘이다.
• Q-러닝 스타일 업데이트를 사용하여 동작-가치 함수를 업데이트하며, 각 이산 동작에 대해 별도의 함수 근사기 사용한다.
• P-UPDATE를 적용하여 기울기 기반 최적화를 통해 파라미터 정책을 개선함으로써 국소 수렴을 가능하게 한다.
• 두 가지 변형을 구현한다: Q-PAMDP(1)은 각 에피소드 후에 파라미터를 업데이트하고, Q-PAMDP(∞)는 파라미터에 대해 전역 최적화를 수행한다.
• 성능 및 강건성을 평가하기 위해 직접 정책 탐색(eNAC)과 고정 파라미터 SARSA와 비교한다.

실험 결과

연구 질문

• RQ1 모델 프리 알고리즘이 이산 동작이지만 연속적 파라미터가 필요한 MDP에서 정책을 효과적으로 학습할 수 있는가?
• RQ2 동작 선택과 파라미터 최적화를 번갈아 수행하는 것이 국소 최적점으로 수렴하는가?
• RQ3 Q-PAMDP는 직접 정책 탐색 및 고정 파라미터 SARSA에 비해 샘플 효율성과 최종 성능 측면에서 어떻게 비교되는가?
• RQ4 어떤 환경에서 Q-PAMDP(1)이 Q-PAMDP(∞)보다 더 효과적이며, 반대로 어떤 환경에서 Q-PAMDP(∞)가 더 효과적인가?
• RQ5 순수한 연속적 동작 공간에 비해 파라미터화된 동작이 비연속적이거나 구조적으로 다름을 보이는 행동을 더 잘 표현할 수 있는가?

주요 결과

• Q-PAMDP(1)과 Q-PAMDP(∞)는 적절한 업데이트 규칙 하에 모두 국소 최적점으로 수렴하며, 이는 이론적 근거를 제공한다.
• 목표 득점 도메인에서 Q-PAMDP(1)과 Q-PAMDP(∞)는 약 35%의 목표 득점 성공률을 기록했으며, 이는 eNAC(10%)와 고정 파라미터 SARSA(40%)보다 뚜렷이 뛰어나다.
• 플랫폼 도메인에서 Q-PAMDP(∞)는 Q-PAMDP(1)을 앞서며, 동작-가치 함수의 급격한 변화가 있는 환경에 더 적합함을 시사한다.
• Q-PAMDP(1)은 작은 파라미터 변화에도 불구하고 가치 함수의 큰 비연속적 변화로 인해 플랫폼 도메인에서 어려움을 겪었으며, 이는 비연속적인 동역학에 민감함을 나타낸다.
• 복잡한 파라미터화 없이도 비연속적인 정책을 성공적으로 처리하며, 동작 간의 구조적 차이를 유지한다.
• 실증 결과는 파라미터화된 동작이 순수한 연속적 동작 공간에 비해 서로 다른 행동(예: 슛 vs. 패assing)을 더 잘 표현할 수 있음을 확인한다.