[논문 리뷰] Q($λ$) with Off-Policy Corrections

Anna Harutyunyan, Marc G. Bellemare외 2명|arXiv (Cornell University)|2016. 02. 16.

Cryptography and Data Security인용 수 23

한 줄 요약

이 논문은 중요도 샘플링이나 정책 확률에 의존하지 않고 현재 Q함수 근사치를 사용하여 수익을 보정하는 새로운 이완정책 시간차 학습 방법, Q(λ) with off-policy corrections를 제안한다. 이는 유사도 ε, 할인 인자 γ, 유전성 추적 파라미터 λ 사이의 트레이드오프 조건을 만족할 경우 수렴성을 보장하여, 분산을 유도하는 가중치 체계 없이 안정적인 이완정책 학습을 가능하게 한다.

ABSTRACT

We propose and analyze an alternate approach to off-policy multi-step temporal difference learning, in which off-policy returns are corrected with the current Q-function in terms of rewards, rather than with the target policy in terms of transition probabilities. We prove that such approximate corrections are sufficient for off-policy convergence both in policy evaluation and control, provided certain conditions. These conditions relate the distance between the target and behavior policies, the eligibility trace parameter and the discount factor, and formalize an underlying tradeoff in off-policy TD($λ$). We illustrate this theoretical relationship empirically on a continuous-state control task.

연구 동기 및 목표

• 중요도 샘플링 또는 정책 확률 가중치에 의존하는 전통적인 이완정책 TD(λ) 방법에서 발생하는 불안정성과 높은 분산 문제를 해결한다.
• 행동 정책 확률에 의존하지 않고 오직 현재 Q함수 근사치만을 사용하여 수익을 보정함으로써 이완정책 학습을 가능하게 하는 방법을 개발한다.
• 이완정책 Q(λ)가 정확한 Qπ 함수로 수렴할 수 있는 이론적 조건을 설정하며, λ, ε(정책 불일치도), γ 사이의 트레이드오프를 수식화한다.
• 연속 상태 제어 과제에서 제안된 방법이 행동 정책가 타겟 정책에서 크게 벗어나도 안정성과 수렴성을 유지함을 실증적으로 입증한다.
• 비트리밍된 유전성 추적을 하지 않는 단순한 Q(λ) 변형에 대한 이론적 및 실증적 기반을 제공하며, 이러한 방법이 불안정하다는 가정을 도전한다.

제안 방법

• 현재 Q함수 근사치를 사용하여 즉각적인 보상을 보정하는 새로운 이완정책 수익 연산자를 제안하며, 전이 확률의 정책 불일치를 조정하는 것 대신 이와 같은 보정을 적용한다.
• 세 가지 알고리즘을 정의한다: 이완정책 Qπ(λ), 온정책 Qπ(λ), Q*(λ), 모두 이 보정된 수익 연산자를 기반으로 한다.
• 벨만 연산자 프레임워크를 사용하여 업데이트 규칙을 수식화하며, 핵심 혁신은 수익 계산에 Q기반 보정 항을 포함하는 것이다.
• 정책 불일치도 ε = max_x ||π(⋅|x)−μ(⋅|x)||₁로 측정할 때, λ ≤ (1−γ)/(γε) 조건 하에 Qπ(λ)의 수렴성을 증명한다.
• 제어 과제에서는, 비순차적 행동에서 유전성 추적을 잘라내지 않는 워터킨스의 Q(λ) 변형인 Q*(λ)를 분석하고, 작은 λ 값에서 수렴함을 보인다.
• 실증적으로 바이크 도메인에서 이론적 트레이드오프를 검증하여, λ가 예측된 임계값을 초과할 경우 성능이 저하됨을 보였다.

실험 결과

연구 질문

• RQ1 정책 확률 기반 중요도 샘플링 가중치를 사용하지 않고도 TD(λ)에서 이완정책 수렴을 달성할 수 있는가?
• RQ2 이완정책 수렴을 위해, 유전성 추적 파라미터 λ, 할인 인자 γ, 행동정책과 타겟정책 간의 불일치도 ε 사이의 이론적 트레이드오프는 무엇인가?
• RQ3 비트리밍된 유전성 추적을 하지 않는 단순한 Q(λ) 변형—비최적 행동에서 유전성 추적을 잘라내지 않는 것—는 특정 조건 하에서 여전히 수렴하는가?
• RQ4 Q함수 기반 즉각적 보상 보정이 정책 확률 가중치를 대체하여 이완정책 TD(λ)에서 수렴성을 유지할 수 있는가?
• RQ5 이론적 경계가 완전히 확립되지 않은 상황에서도, 이완정책 제어 과제에서 λ, ε, 성능 간의 실증적 관계가 존재하는가?

주요 결과

• 제안된 Qπ(λ) 알고리즘은 λ ≤ (1−γ)/(γε) 조건 하에 Qπ로 수렴하며, 이는 부트스트랩(λ), 할인(γ), 정책 불일치도(ε) 간의 트레이드오프를 수식화한다.
• 중요도 샘플링을 회피함으로써, 가능성 비율의 곱으로 유도되는 분산을 제거하여, 기존 이완정책 TD(λ) 방법보다 큰 이점이 있다.
• 바이크 제어 도메인에서의 실증 결과는 λ가 이론적 임계값을 초과할 경우 성능 저하가 발생함을 보여주며, λ-ε 트레이드오프의 존재를 뒷받침한다.
• 비트리밍된 유전성 추적을 하지 않는 워터킨스의 Q(λ) 변형인 Q*(λ)는 작은 λ 값에서 수렴함을 입증하여, 이러한 방법이 불안정하다는 가정을 도전한다.
• 이론적 분석을 통해 Qπ(λ)는 온정책 및 이완정책 TD(λ)의 일반화임을 보이며, 알고리즘 변경 없이 다양한 수준의 이완정책 성격을 적응적으로 처리할 수 있다.
• 정책 불일치도 ε가 작고 λ가 적절히 제한될 경우, 전체 백업을 허용함으로써 트리백업(λ)보다 안정적인 대안을 제공한다. 이는 정책이 유사할 경우 불필요하게 유전성 추적을 잘라내는 문제를 해결한다.