[논문 리뷰] Discretizing Continuous Action Space for On-Policy Optimization

Yunhao Tang, Shipra Agrawal|arXiv (Cornell University)|2019. 01. 29.

Reinforcement Learning in Robotics참고 문헌 36인용 수 16

한 줄 요약

이 논문은 온정책 강화학습에서 연속 행동 공간을 요소별로 분해하는 방식으로 이산화함으로써, PPO 및 TRPO와 같은 최신 알고리즘을 효율적으로 학습시킬 수 있도록 제안한다. 또한 자연적인 순서를 반영하는 순서형 파arameterization을 도입하여 표본 효율성과 최종 성능을 크게 향상시키며, 특히 복잡한 동역학을 가진 고차원 제어 과제에서 유의미한 성능 향상을 이룬다.

ABSTRACT

In this work, we show that discretizing action space for continuous control is a simple yet powerful technique for on-policy optimization. The explosion in the number of discrete actions can be efficiently addressed by a policy with factorized distribution across action dimensions. We show that the discrete policy achieves significant performance gains with state-of-the-art on-policy optimization algorithms (PPO, TRPO, ACKTR) especially on high-dimensional tasks with complex dynamics. Additionally, we show that an ordinal parameterization of the discrete distribution can introduce the inductive bias that encodes the natural ordering between discrete actions. This ordinal architecture further significantly improves the performance of PPO/TRPO.

연구 동기 및 목표

• 연속 행동 공간을 이산화하는 것이 온정책 강화학습 성능을 향상시킬 수 있는지 조사하기 위해.
• 행동 차원 간의 조합 폭발 문제를 행동 차원에 걸쳐 요소화된 정책 분포를 통해 해결하기 위해.
• 스틱 브레이킹을 통한 순서형 파arameterization을 통해 이산 행동 간 자연스러운 순서를 인코딩함으로써 정책 최적화에 유리한 인덕티브 바이어스를 제공하는지 평가하기 위해.
• 고차원 연속 제어 환경에서 표준 가우시안 기준선과 비교해 이산 및 순서형 정책의 성능을 평가하기 위해.
• 학습률 및 행동 차원당 이산화된 상자 수와 같은 하이퍼파ram터에 대한 강건성을 평가하기 위해.

제안 방법

• 행동 차원당 K개의 이산 행동으로 연속 행동 공간을 이산화하여 M차원 행동에 대해 K^M 크기의 공동 이산 행동 공간을 구성한다.
• 각 행동 차원의 주변 분포의 곱으로 연합 행동 분포를 모델링하는 요소화된 정책을 사용하여 계산 복잡도를 감소시킨다.
• 스틱 브레이킹을 사용해 이산 행동 간 자연스러운 순서를 인코딩하는 순서형 파arameterization을 도입하여 보다 매끄러운 정책 업데이트를 가능하게 한다.
• MuJoCo 이동 벤치마크에서 PPO, TRPO, ACKTR와 같은 온정책 알고리즘에 이산 및 순서형 정책를 적용한다.
• 고정된 하이퍼파aram터로 정책를 학습하고 여러 랜덤 시드를 통해 성능를 평가하여 강건성을 분석한다.
• 순서형 아키텍처에서 이산 행동의 사전으로 베타 분포를 사용하여 미분 가능한 샘플링과 정책 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 PPO 및 TRPO와 같은 온정책 알고리즘에서 연속 행동 공간을 이산화하면 고차원 제어 과제 성능이 향상되는가?
• RQ2 이산 행동에 대한 요소화된 정책 분포가 행동 조합의 조합 폭발 문제를 완화하면서도 성능를 유지할 수 있는가?
• RQ3 스틱 브레이킹 파arameterization을 통해 이산 행동 간 자연스러운 순서를 인코딩하면 정책 최적화에 유리한 인덕티브 바이어스를 제공하는가?
• RQ4 표준 가우시안 정책 기준선과 비교해 이산/순서형 정책의 표본 효율성과 최종 성능는 어떻게 되는가?
• RQ5 학습률 및 행동 차원당 이산화 상자 수와 같은 하이퍼파aram터 변화에 대해 이산 및 순서형 정책는 얼마나 강건한가?

주요 결과

• 요소화된 행동 분포를 가진 이산 정책는 Humanoid 및 Ant와 같은 고차원 과제에서 가우시안 기준선을 크게 능가하며, Walker2d에서는 4249±239의 리턴(가우시안 기준선 3500±360)과 Humanoid에서는 6018±403의 리턴(가우시안 기준선 3905±502)을 기록한다.
• 자연스러운 순서를 인코딩하는 순서형 정책는 성능을 추가로 향상시키며, Humanoid(R)에서는 4884±1562, Sim. Humanoid(R)에서는 801±569의 리턴을 기록하여 이산 정책를 초월한다.
• Humanoid 과제에서 PPO+순서형 정책는 6018±403의 리턴을 기록하여 최신 오프정책 알고리즘과 유사한 성능를 달성한다.
• 이산 정책는 학습률, K, 랜덤 시드 등 하이퍼파aram터 변화에 대해 가우시안 기준선보다 더 강건한 것으로 나타났으며, 30개의 하이퍼파aram터 구성에 대한 분위수 그래프에서 이를 확인할 수 있다.
• TRPO 실험에서 순서형 정책는 모든 과제에서 이산 정책를 항상 앞서며, Ant 과제에서는 최대 2977±266의 성능 향상을, Humanoid Standup 과제에서는 143418±8638의 성능 향상을 기록한다.
• 그림 4의 학습 곡선은 K=11일 때 모든 MuJoCo 이동 과제에서 순서형 정책가 이산 정책보다 더 빨리 수렴하고 더 높은 점 渐 渐 수준의 성능를 달성하는 것으로 나타났다.