[논문 리뷰] Time Discretization-Invariant Safe Action Repetition for Policy Gradient Methods

Seohong Park, Jaekyeom Kim외 1명|arXiv (Cornell University)|2021. 11. 06.

Reinforcement Learning in Robotics인용 수 7

한 줄 요약

이 논문은 정책 그래디언트(PG) 알고리즘을 위한 시간 이산화에 영향을 받지 않는 방법인 안전 행동 반복(SAR)을 제안한다. 이는 상태 공간 내 학습된 안전 영역에서 지속 가능한 행동을 가능하게 하며, 에이전트가 안전 영역을 벗어날 경우 행동 반복을 중단함으로써 확률적 요동에 대한 강건성을 확보하고 다양한 시간 스케일 δ에서 성능을 유지한다. 이는 8개의 MuJoCo 환경에서 결정론적 및 확률론적 설정 모두에서 이전의 δ-불변 방법들을 능가한다.

ABSTRACT

In reinforcement learning, continuous time is often discretized by a time scale $δ$, to which the resulting performance is known to be highly sensitive. In this work, we seek to find a $δ$-invariant algorithm for policy gradient (PG) methods, which performs well regardless of the value of $δ$. We first identify the underlying reasons that cause PG methods to fail as $δ o 0$, proving that the variance of the PG estimator can diverge to infinity in stochastic environments under a certain assumption of stochasticity. While durative actions or action repetition can be employed to have $δ$-invariance, previous action repetition methods cannot immediately react to unexpected situations in stochastic environments. We thus propose a novel $δ$-invariant method named Safe Action Repetition (SAR) applicable to any existing PG algorithm. SAR can handle the stochasticity of environments by adaptively reacting to changes in states during action repetition. We empirically show that our method is not only $δ$-invariant but also robust to stochasticity, outperforming previous $δ$-invariant approaches on eight MuJoCo environments with both deterministic and stochastic settings. Our code is available at https://vision.snu.ac.kr/projects/sar.

연구 동기 및 목표

• 시간 이산화 스케일 δ에 민감한 정책 그래디언트 방법의 문제를 해결하기 위해, δ→0에 가까워질수록 기울기 분산 폭발과 탐색 한계로 인해 성능 저하가 발생하는 원인을 규명한다.
• 고정된 반복 주기로 인해 확률적 환경에서 예기치 않은 사건에 대응할 수 없는 기존 행동 반복 방법의 한계를 극복한다.
• 기존 PG 알고리즘(PPO, TRPO, A2C 등)과 호환되며 무한한 학습 스텝이나 기울기 접근이 필요 없이 δ-불변성을 달성하는 일반적이고 즉시 적용 가능한 방법을 개발한다.
• 에이전트가 상태 공간 내 학습된 안전 영역을 벗어날 경우 행동 반복을 동적으로 종료함으로써 환경의 확률적 요동에 대한 강건성을 확보한다.
• 실험적으로 제안된 방법이 다양한 δ 값 범위에서 성능을 유지하고, 결정론적 및 확률론적 MuJoCo 환경 모두에서 기존의 δ-불변 기준보다 뛰어난 성능을 보임을 검증한다.

제안 방법

• SAR는 PG 알고리즘을 확장하여 상태 공간 내에서 거리 함수를 통해 기준 상태로부터의 거리로 정의된 안전 영역과 함께 행동을 학습한다. 이 안전 영역 내에서 행동이 반복된다.
• 안전 영역은 차원을 정규화하는 거리 함수를 사용하여 학습되며, 이는 척도 불변성을 보장하고 다양한 환경에서 일관된 행동을 가능하게 한다.
• 에이전트의 상태가 안전 영역을 벗어나면 즉시 행동 반복이 중단되어 예기치 않은 환경 변화나 외부 간섭에 신속히 대응할 수 있다.
• 이 방법은 어떤 PG 알고리즘과도 호환되며, 정책 출력을 행동과 안전 영역 파라미터를 포함하도록 수정함으로써 원활하게 통합된다.
• 모든 환경에서 안전 영역을 정의하기 위해 거리 임계값 $ d_{\text{max}} = 0.5 $ 를 사용하고, 반복 중에는 수정된 수익 계산을 사용하여 표준 PG 목표로 정책을 학습한다.
• 결정 빈도를 행동 지속 시간에서 분리함으로써 δ-불변성을 확보하여, 시간 단위 δ에 관계없이 안정적인 성능을 유지한다.

실험 결과

연구 질문

• RQ1 왜 정책 그래디언트 방법이 시간 이산화 스케일 δ가 0에 가까워질수록 실패하며, 성능 저하의 근본 원인은 무엇인가?
• RQ2 연속 제어 환경에서 확률적 요동에 대해 행동 반복을 어떻게 강건하게 만들 수 있는가? 특히 행동 실행 중 예기치 않은 간섭이 발생할 경우 어떻게 대응할 수 있는가?
• RQ3 안전 영역 기반 행동 반복 메커니즘은 무한한 학습 스텝이나 보상 기울기 접근 없이도 정책 그래디언트 방법에서 δ-불변성을 달성할 수 있는가?
• RQ4 제안된 안전 행동 반복(SAR) 방법은 다양한 MuJoCo 환경에서 기존의 δ-불변 접근법과 비교해 성능 및 강건성 측면에서 어떻게 다른가?
• RQ5 SAR는 결정론적 및 확률론적 설정 모두에서 매우 작은 δ 값까지 다양한 δ 값에서 성능을 얼마나 잘 유지하는가?

주요 결과

• SAR는 테스트된 모든 MuJoCo 환경에서 δ-불변성을 달성하여 시간 이산화 스케일 δ = 0.0005s에서 δ = 0.05s에 이르기까지 일관된 성능을 유지한다.
• 강한 외부 힘 작용이 있는 확률론적 설정에서, SAR는 FiGAR-C와 DAU를 포함한 모든 기준보다 8개 환경 모두에서 승리하며 뛰어난 강건성을 입증한다.
• 결정론적 환경에서는 SAR가 PPO, TRPO, A2C 기준을 모두 초월하여 모든 δ 설정에서 최고 성능을 기록한다.
• δ→0에 가까워질수록 기울기 분산 폭발을 방지하기 위해 안전 영역 내에서 지속 가능한 행동을 허용함으로써, 기존 PG 방법의 핵심 실패 요인을 해결한다.
• 실험 결과로는 SAR가 높은 샘플 효율성과 안정성을 유지하며, 하이퍼파rameter 조정 없이 모든 δ 값에서 학습 수렴이 관찰된다.
• 제거 실험 결과는 안전 영역 메커니즘이 강건성에 필수적임을 확인하며, 이를 제거할 경우 확률론적 환경에서 성능 저하가 발생한다.