[논문 리뷰] Predictive State Temporal Difference Learning

Byron Boots, Geoffrey J. Gordon|arXiv (Cornell University)|2010. 10. 30.

Reinforcement Learning in Robotics참고 문헌 34인용 수 19

한 줄 요약

이 논문은 예측 상태 시간 차분(PSTD) 학습이라는 새로운 알고리즘을 소개한다. 이 알고리즘은 선형 시간 차분 학습과 부분공간 식별을 조합하여 큰 특징 집합을 최소의 예측 가능한 부분공간으로 자동 압축한다. PSTD는 예측 정보만 유지함으로써 통계적으로 일관된 가치 함수 추정을 달성하며, 금융 파생상품의 고차원 최적 정지 문제에서 LSTD와 LARS-TD를 능가하여 오차를 이전 최고 성능 대비 1.24%p 감소시킨다.

ABSTRACT

We propose a new approach to value function approximation which combines linear temporal difference reinforcement learning with subspace identification. In practical applications, reinforcement learning (RL) is complicated by the fact that state is either high-dimensional or partially observable. Therefore, RL methods are designed to work with features of state rather than state itself, and the success or failure of learning is often determined by the suitability of the selected features. By comparison, subspace identification (SSID) methods are designed to select a feature set which preserves as much information as possible about state. In this paper we connect the two approaches, looking at the problem of reinforcement learning with a large set of features, each of which may only be marginally useful for value function approximation. We introduce a new algorithm for this situation, called Predictive State Temporal Difference (PSTD) learning. As in SSID for predictive state representations, PSTD finds a linear compression operator that projects a large set of features down to a small set that preserves the maximum amount of predictive information. As in RL, PSTD then uses a Bellman recursion to estimate a value function. We discuss the connection between PSTD and prior approaches in RL and SSID. We prove that PSTD is statistically consistent, perform several experiments that illustrate its properties, and demonstrate its potential on a difficult optimal stopping problem.

연구 동기 및 목표

• 고차원적 또는 부분적으로 관찰 가능한 상태로 인해 과적합과 일반화 부족이 발생하는 시간 차분 학습의 특징 선택 문제를 해결하기 위해.
• 많은 수의 약한 관련성이 있는 특징들 중에서 자동으로 압축되고 예측 가능한 특징 부분공간을 식별하는 방법을 개발하기 위해.
• 시스템 식별과 예측 상태 표현(PSR)의 통찰을 활용하여 가치 함수 근사에서 데이터 효율성과 통계적 일관성을 향상시키기 위해.
• 실제 강화학습 문제, 특히 금융 파생상품 가격 산정에서 기존 방법들인 LSTD와 LARS-TD에 비해 실용적으로 뛰어난 성능을 보이는 PSTD의 성능을 입증하기 위해.

제안 방법

• PSTD는 시간에 인접한 특징 샘플을 기반으로 한 선형 압축 연산자를 적용하여 고차원 특징 공간을 예측 정보를 최대한 유지하는 저차원 부분공간으로 투영한다.
• 알고리즘은 시간에 인접한 특징 샘플을 기반으로 한 선형 압축 연산자를 적용하여 예측 능력을 유지하는 최소한의 특징 집합을 추출한다.
• 압축된 특징 공간에서 벨먼 재귀를 적용하여 가치 함수를 추정함으로써 기저의 동적 시스템과의 일관성을 확보한다.
• 이 방법은 예측 상태 표현(PSR)에 이론적으로 기반하며, 압축된 특징들은 온건한 가정 하에 진정한 PSR 상태와 渐近적으로 동일하다.
• PSTD는 통계적으로 일관되며, 수렴은 원래 상태 공간의 크기보다는 동적 시스템의 내재 차원에 의존한다.
• 합성 실험과 고차원 금융 파생상품을 포함한 실제 최적 정지 문제를 통해 방법의 유효성이 검증되었다.

실험 결과

연구 질문

• RQ1 특징 압축을 위한 원리적이고 데이터 기반의 방법이 고차원적 또는 부분적으로 관찰 가능한 환경에서 시간 차분 학습의 통계적 일관성과 데이터 효율성을 향상시킬 수 있는가?
• RQ2 특징 집합에 몇 개의 높은 관련성을 가진 특징보다는 많은 수의 약간만 관련성이 있는 특징이 포함되어 있을 경우, PSTD는 LARS-TD와 LSTD에 비해 예측 정확도에서 어떻게 비교되는가?
• RQ3 PSTD의 압축된 특징 공간이 진정한 기저 시스템 상태를 얼마나 잘 일관되게 추정할 수 있는가, 특히 PSR의 맥락에서 말이다?
• RQ4 특징 압축을 위해 부분공간 식별을 사용할 경우, 금융 파생상품 가격 산정과 같은 실제 문제에서 가치 함수 추정 및 정책 성능 향상에 측정 가능한 기여를 할 수 있는가?

주요 결과

• PSTD는 금융 파생상품의 고차원 최적 정지 문제에서 LARS-TD를 1.75%p 뛰어넘었으며, 이전에 보고된 최고 성능 대비 1.24%p의 오차 감소를 달성했다.
• 알고리즘은 220개의 특징을 16개로 압축함으로써 일관된 가치 함수 추정을 달성하였으며, 압축된 특징들은 점점 진정한 예측 상태 표현(PSR) 상태와 동일해진다.
• PSTD는 원래 수작업으로 선택한 16개의 특징이나 전체 220개 특징 집합을 사용한 LSTD보다 뛰어난 성능을 보였으며, 이는 예측 정보 최대화를 통한 특징 압축이 수작업 특징 선택이나 전체 특징 사용보다 더 효과적임을 시사한다.
• 통계적 일관성은 증명되었으며, 수렴은 POMDP 상태 공간의 기수보다는 동적 시스템의 내재 선형 차원에 의존한다.
• 실험 결과에서 PSTD는 많은 특징들이 예측에 약간만 기여할 경우에도 강건성과 뛰어난 데이터 효율성을 보였으며, 이러한 환경에서 LARS-TD와 같은 희박 선택 방법보다 뛰어난 성능을 보였다.
• 결과적으로 PSTD는 가치 함수 추정 향상으로 인해 파생상품 가격 산정에서 상당한 아르비트 기회를 제공할 수 있음을 시사한다.