[논문 리뷰] Policy Optimization via Importance Sampling

Alberto Maria Metelli, Matteo Papini외 2명|arXiv (Cornell University)|2018. 09. 17.

Reinforcement Learning in Robotics인용 수 23

한 줄 요약

이 논문은 중요도 샘플링과 고신뢰도 구간을 활용하여 효율적인 오프라인 정책 향상이 가능한, 모델에 의존하지 않는 정책 최적화 알고리즘인 POIS를 제안한다. 중요도 가중 경로에서 유도된 서면 목표 함수를 최적화함으로써, 선형 및 딥 네ural 네트워크 정책을 사용하는 연속 제어 과제에서 최신 기술 수준의 성능을 달성하며, TRPO 및 PPO와 같은 기존 방법들을 초월한다. 이는 샘플 효율성과 안정성을 유지하면서도 달성된다.

ABSTRACT

Policy optimization is an effective reinforcement learning approach to solve continuous control tasks. Recent achievements have shown that alternating online and offline optimization is a successful choice for efficient trajectory reuse. However, deciding when to stop optimizing and collect new trajectories is non-trivial, as it requires to account for the variance of the objective function estimate. In this paper, we propose a novel, model-free, policy search algorithm, POIS, applicable in both action-based and parameter-based settings. We first derive a high-confidence bound for importance sampling estimation; then we define a surrogate objective function, which is optimized offline whenever a new batch of trajectories is collected. Finally, the algorithm is tested on a selection of continuous control tasks, with both linear and deep policies, and compared with state-of-the-art policy optimization methods.

연구 동기 및 목표

• 과도한 분산이나 불안정성을 초래하지 않으면서 오프라인 경로를 효율적으로 재사용하는 데 도전하는 것.
• 중요도 샘플링을 통해 행동 정책와 목표 정책 간의 거리를 제어함으로써 탐색과 이용의 균형을 이루는 방법을 개발하는 것.
• 중요도 샘플링 추정치에 고신뢰도 구간을 도입하여 오프라인 정책 학습의 샘플 효율성과 수렴 안정성을 향상시키는 것.
• 행동 기반 및 파ameter 기반 정책 탐색 프레임워크 모두에서 효과적인 오프라인 최적화를 가능하게 하는 것.
• 원칙적이고 분산 제어 기반의 접근 방식을 통해 TRPO 및 PPO와 같은 기존 최신 기술 수준의 방법들을 초월하는 것.

제안 방법

• 정책 최적화 중 분산을 제어하기 위해 중요도 샘플링 추정치에 고신뢰도 구간을 도입하는 방법.
• 신뢰도 구간에서 유도된 레니 지표 수렴 기반의 벌점 항을 포함하는 서면 목표 함수를 정의하는 것.
• POIS는 새로운 경로 수집과 배치된 데이터를 사용한 다중 오프라인 최적화 단계를 번갈아 수행한다.
• 행동 기반(A-POIS) 및 파ameter 기반(P-POIS) 설정 모두를 지원하며, 후자는 자연 기울기 최적화를 사용한다.
• 기울기 추정을 위해 표준 중요도 샘플링(IS)(A-POIS) 또는 자기정규화 중요도 샘플링(SNIS)(P-POIS)을 사용한다.
• 유의수준 δ는 신뢰도 구간을 제어하며, 이는 오프라인 데이터 기반 정책 업데이트의 강도에 영향을 미친다.

실험 결과

연구 질문

• RQ1 중요도 샘플링에 고신뢰도 구간을 적용하면 오프라인 정책 최적화의 안정성과 샘플 효율성이 향상되는가?
• RQ2 행동 정책와 목표 정책 간의 레니 지표 수렴을 제어할 경우 오프라인 환경에서의 학습 성능에 어떤 영향을 미치는가?
• RQ3 A-POIS와 P-POIS는 선형 및 딥 네ural 네트워크 정책을 사용하는 연속 제어 과제에서 TRPO 및 PPO와 같은 확립된 방법들을 초월할 수 있는가?
• RQ4 신뢰수준 δ가 오프라인 정책 최적화에서 정책 분산과 학습 동역학에 미치는 영향은 무엇인가?
• RQ5 분산 제어 기반의 서면 목표 함수를 사용하면 수렴 속도가 빨라지고 최종 성능이 향상되는가?

주요 결과

• A-POIS는 카트폴 밸런싱 과제에서 4842.8 ± 13.0의 누적 보상을 기록했으며, TRPO 및 REINFORCE와 통계적으로 구분되지 않았다.
• 마운틴 카 환경에서 A-POIS는 -63.7 ± 0.5의 성능을 기록했으며, 수익 안정성과 수렴 속도 측면에서 DDPG 및 TRPO를 모두 초월했다.
• 스위머 과제에서 P-POIS는 88.7 ± 0.55의 경쟁성 있는 성능을 기록했지만, A-POIS 및 TRPO에 비해 略적으로 낮아, 중요도 추정기 선택의 중요성을 시사했다.
• δ 값은 정책 분산과 수렴에 큰 영향을 미쳤다: 더 작은 δ 값은 고레니 지표 수렴을 강하게 벌점함으로써 분산 감소 속도를 느리게 했다.
• 고신뢰도 구간은 중요도 샘플링 분산이 높은 경우에도 최적화가 발산하지 않도록 효과적으로 방지했으며, 특히 δ = 1일 경우 구현 불가능한 구간을 유도함으로써 추정기의 불확실성을 반영했다.
• POIS는 다섯 번의 실행에서 95% 신뢰구간을 유지하며 일관된 성능을 보였으며, 다양한 연속 제어 환경에서의 강건성과 재현 가능성을 확인했다.