[논문 리뷰] Emphatic Temporal-Difference Learning

Ashique Rupam Mahmood, Huizhen Yu외 2명|arXiv (Cornell University)|2015. 07. 06.

Reinforcement Learning in Robotics참고 문헌 19인용 수 21

한 줄 요약

이 논문은 사용자가 정의한 관심 함수에 따라 상태 갱신을 강조하거나 경시함으로써 선택적 갱신을 가능하게 하는 안정적이고 수렴 가능한 오프-폴리시 TD 학습 알고리즘인 강조적 시간차 학습(ETD)을 소개한다. 선형 함수 근사와 임의의 오프-폴리시 학습 하에서 수렴을 달성하기 위해 상태에 의존하는 강조와 부트스트래핑을 통합함으로써, 단계당 선형 복잡도를 가지는 유연하고 효율적이며 정확한 가치 함수 추정이 가능해진다.

ABSTRACT

Emphatic algorithms are temporal-difference learning algorithms that change their effective state distribution by selectively emphasizing and de-emphasizing their updates on different time steps. Recent works by Sutton, Mahmood and White (2015), and Yu (2015) show that by varying the emphasis in a particular way, these algorithms become stable and convergent under off-policy training with linear function approximation. This paper serves as a unified summary of the available results from both works. In addition, we demonstrate the empirical benefits from the flexibility of emphatic algorithms, including state-dependent discounting, state-dependent bootstrapping, and the user-specified allocation of function approximation resources.

연구 동기 및 목표

• 함수 근사 하에서 상태 갱신이 사용자가 정의한 관심에 기반해 선택적으로 강조될 때 오프-폴리시 시간차 학습의 불안정성 문제를 해결하기 위해.
• 행동 정책와 목표 정책가 다를 경우에도 수렴성과 안정성을 보장하면서 상태에 의존하는 할인율, 부트스트래핑, 그리고 상태에 대한 사용자 지정 강조를 허용하는 방법을 개발하기 위해.
• Sutton 등(2015)과 Yu(2015)의 이전 연구에서 도출된 강조 알고리즘의 안정성 및 수렴성 이론적 결과를 통합하고 요약하기 위해.
• 단일 행동 정책을 사용하여 동시에 여러 목표 정책의 정확한 예측을 수행할 수 있음을 실증적으로 보여주기 위해, 특히 오프-폴리시 조건에서도 성능을 유지한다.
• 관심 함수와 적응적 강조를 활용함으로써 기존의 TD(λ)에 비해 안정성과 정확성 면에서 ETD(λ)가 뛰어나다는 것을 보여주기 위해.

제안 방법

• 표준 TD(0) 갱신을 수정하여, 각 갱신에 상태별 강조 요소를 곱함으로써 상태에 의존하는 강조를 도입한다. 이 강조 요소는 해당 상태에 대한 관심도와 행동 정책 하에서의 기대 방문 빈도의 곱으로 정의된다.
• 각 갱신의 효과적 중요도를 조정할 수 있는 상태에 의존하는 강조 함수를 도입함으로써, 순수한 방문 빈도를 넘어서 특정 상태를 우선순위로 삼을 수 있도록 한다.
• 관심 함수와 유사도 추적을 동시에 고려하는 새로운 학습 규칙을 도입함으로써, 오프-폴리시 학습 하에서도 안정성과 수렴성을 유지한다.
• 두 가지 시간 척도 갱신 메커니즘을 활용한다: 가치 함수 매개수 갱신과 강조 함수 갱신을 별도로 처리함으로써 리아푸노프 안정성 분석을 통해 수렴성을 보장한다.
• λ를 상태별로 다양하게 설정할 수 있도록 허용함으로써 상태에 의존하는 할인율과 부트스트래핑을 지원함으로써, 더 유연한 시간 추상화를 가능하게 한다.
• 특히 고분산 오프-폴리시 설정에서 수치적 안정성을 향상시키기 위해 갱신 증분에 클리핑 메커니즘을 적용함으로써 분산을 감소시킨다.

실험 결과

연구 질문

• RQ1 상태 갱신이 사용자가 정의한 관심에 기반해 선택적으로 강조될 때, 선형 함수 근사 하에서 오프-폴리시 시간차 학습이 안정적이고 수렴 가능하게 만들 수 있는가?
• RQ2 행동 정책와 목표 정책가 다를 경우에도 수렴성을 해치지 않으면서 어떤 상태를 가치 추정에 우선순위로 삼을 수 있는가?
• RQ3 상태에 의존하는 강조와 부트스트래핑이 가치 함수 추정의 정확성과 안정성 향상에 어떤 역할을 하는가?
• RQ4 ETD(λ)는 오프-폴리시 조건에서 기존의 TD(λ)에 비해 수렴성과 성능 면에서 어떻게 비교되는가?
• RQ5 단일 행동 정책을 사용하여 ETD(λ)는 동시에 여러 목표 정책의 가치 함수를 학습하면서도 안정성과 정확성을 유지할 수 있는가?

주요 결과

• ETD(λ)는 관심 함수와 행동 정책가 다를 경우에도 선형 함수 근사 하에서 오프-폴리시 학습에 대해 수렴성을 확보함으로써, 오랫동안 지속된 오프-폴리시 TD 학습의 불안정성 문제를 해결한다.
• 각 갱신의 영향력을 관심도와 방문 빈도에 기반해 균형 잡힌 상태에 의존하는 강조 함수를 통합함으로써 알고리즘이 안정성과 수렴성을 유지한다.
• 격자 월드 실험에서 ETD(λ)는 세 가지 다른 목표 정책(균일, 헤드포워드, 조심스러운) 하에서 블록 A의 가치를 추정하였고, 50회의 독립 실행 동안 정책 성능 간 상대적 순서가 정확히 유지됨을 확인하였다.
• 갱신 증분에 클리핑을 적용함으로써 변동성이 크게 감소하고 안정성이 향상되었으며, 특히 고분산 오프-폴리시 설정에서는 클리핑이 적용되지 않은 갱신이 진짜 값에서 큰 이탈을 보였다.
• 상태에 의존하는 할인율과 부트스트래핑(λ를 상태별로 다양하게 설정함으로써)이 실현 가능하고 유용함을 입증하였으며, 더 정확하고도 더 민첩한 가치 추정을 가능하게 하였다.
• 관심 함수를 활용해 상태를 우선순위로 삼을 경우, 특히 오프-폴리시 및 함수 근사 설정에서 ETD(λ)는 표준 TD(λ)에 비해 안정성과 정확성 면에서 뛰어나다는 것이 입증되었다.