[논문 리뷰] Learning Robust Options

Daniel J. Mankowitz, Timothy Mann외 3명|arXiv (Cornell University)|2018. 02. 09.

Reinforcement Learning in Robotics인용 수 15

한 줄 요약

이 논문은 강화학습에서 모델 불확실성에 강건한 시간적으로 추상화된 옵션을 학습하는 데 전용인 새로운 알고리즘인 Robust Options Policy Iteration (ROPI)을 제안한다. 강건한 가치 함수 업데이트와 정책 기울기의 통합을 통해 RO-DQN(딥 Q네트워크)이 다양한 동역학에 일반화할 수 있도록 하여, 파rameter 변화가 있는 CartPole 및 Acrobot 작업에서 비강건 기준선 대비 뛰어난 성능을 보인다.

ABSTRACT

Robust reinforcement learning aims to produce policies that have strong guarantees even in the face of environments/transition models whose parameters have strong uncertainty. Existing work uses value-based methods and the usual primitive action setting. In this paper, we propose robust methods for learning temporally abstract actions, in the framework of options. We present a Robust Options Policy Iteration (ROPI) algorithm with convergence guarantees, which learns options that are robust to model uncertainty. We utilize ROPI to learn robust options with the Robust Options Deep Q Network (RO-DQN) that solves multiple tasks and mitigates model misspecification due to model uncertainty. We present experimental results which suggest that policy iteration with linear features may have an inherent form of robustness when using coarse feature representations. In addition, we present experimental results which demonstrate that robustness helps policy iteration implemented on top of deep neural networks to generalize over a much broader range of dynamics than non-robust policy iteration.

연구 동기 및 목표

• 다이나믹 시스템에서 모델 불확실성에 직면했을 때 기존 옵션 학습 방법의 강건성 부족 문제를 해결한다.
• 이행 모델 변동(예: 로봇 시스템 내 이질적인 물리적 파라미터)에 강건한 옵션을 학습하는 정책 반복 프레임워크를 개발한다.
• 강건한 옵션이 특징 기반 모델 부정확성과 모델 불확실성을 모두 완화함을 입증한다.
• 제안된 강건한 옵션 정책 반복(ROPI) 알고리즘에 대한 이론적 수렴 보장을 제공한다.
• 특정 작업에 대한 재학습 없이도 다양한 동역학에 걸쳐 일반화할 수 있도록 한다.

제안 방법

• 강건한 정책 평가(RPVI)와 강건한 정책 기울기 기반 강건한 정책 개선을 조합한 두 단계 알고리즘인 Robust Options Policy Iteration(ROPI)을 제안한다.
• 모델 불확실성에 강건하기 위해 가능한 이행 모델의 불확실성 집합 내에서 최악의 수익을 최소화하는 강건한 시간 차이(TD) 업데이트를 통합한다.
• 모델 편향에 대해 가치 함수 근사가 일관성을 유지하도록 강건한 호환 조건을 사용한다.
• 다중 작업을 위한 공유 표현을 학습하기 위해 옵션 헤드에 대한 온라인이고 교차하는 최적화를 수행하는 RO-DQN(딥 Q네트워크 프레임워크) 내에서 ROPI를 구현한다.
• 모델 모호성 하에서 Q-값을 업데이트하기 위해 다음의 강건한 TD 오차를 적용한다: $\delta = Q(x,a) - r + \gamma \inf_{p \in \mathcal{P}(x,a)} \sum_{x'} p(x'|x,a) \max_{a'} Q(x',a')$
• 최대 3000 에피소드까지 ADAM 옵timizer를 사용해 RO-DQN을 엔드 투 엔드로 훈련하고, 막대 길이, 질량 등 다양한 물리적 파라미터에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 정책 반복 프레임워크는 다이나믹 시스템에서 모델 불확실성에 강건한 옵션을 학습할 수 있도록 확장될 수 있는가?
• RQ2 선형 특징 표현의 뚜렷한 해상도가 옵션 학습에서 모델 부정확성에 대해 본질적으로 강건성을 부여하는가?
• RQ3 ROPI를 통해 학습된 강건한 옵션은 딥 네ural 네트워크 기반 강화학습 에이전트가 다양한 환경 동역학에서 일반화를 향상시킬 수 있는가?
• RQ4 강건한 옵션이 다중 작업 강화학습에서 특징 기반 모델 부정확성과 모델 불확실성을 어느 정도 완화하는가?
• RQ5 RO-DQN은 CartPole 및 Acrobot 작업에서 파라미터 변화를 다룰 때 표준 DQN과 O-DQN에 비해 어떻게 비교되는가?

주요 결과

• 비강건한 ASAP 알고리즘은 선형 설정에서 굵은 특징 표현 덕분에 모델 변동에 민감도가 낮아, 본질적으로 강건성을 보인다.
• 딥 네ural 네트워크 설정에서는 표준 DQN과 O-DQN이 CartPole 및 Acrobot에서 파라미터 변화에 대해 일반화하지 못하며, 모델 불확실성 하에서 진동하는 성능과 성능 저하를 보인다.
• RO-DQN은 막대 길이(0.5–5.0 m)와 질량(1.0–5.5 kg)의 광범위한 범위에서 높은 성능 유지를 유지하는 강건한 옵션을 성공적으로 학습하여 비강건 기준선을 압도한다.
• ROPI는 불확실성 집합 내에서 최악의 이행 역학을 최적화함으로써, 모델 모호성 하에서도 이론적 보장과 함께 수렴을 달성한다.
• 강건한 TD 업데이트의 통합은 일반화를 크게 향상시켜, 단일 공유 네트워크가 동적 파rameter 변화가 있는 다수의 작업을 해결할 수 있도록 한다.
• 실험 결과는 강건한 옵션이 로봇 정책 전이 시뮬레이션-실세계 간 격차를 줄이는 데 기여하며, 특히 불완전하거나 불확실한 동역학 모델이 존재하는 시나리오에서 뚜렷한 효과를 보인다.