[논문 리뷰] Temporal-Difference Networks

Richard S. Sutton, B. K. Tanner|arXiv (Cornell University)|2015. 04. 21.

Bayesian Modeling and Causal Inference참고 문헌 12인용 수 56

한 줄 요약

이 논문은 시간차(TD) 학습의 일반화인 시간차(TD) 네트워크를 소개한다. 이는 가치 함수 외에도 서로 다른 미래 사건 유형 간의 상호연관된 예측을 가능하게 한다. TD 업데이트를 통해 의미적으로 다样的인 예측을 연결함으로써, 이 방법은 고정 간격 예측, 행동 조건부 예측, 심지어 비마르코프 문제까지 예측 상태 표현을 사용해 해결함으로써 몬테카를로 방법에 비해 뛰어난 데이터 효율성과 수렴 성능을 보여준다.

ABSTRACT

We introduce a generalization of temporal-difference (TD) learning to networks of interrelated predictions. Rather than relating a single prediction to itself at a later time, as in conventional TD methods, a TD network relates each prediction in a set of predictions to other predictions in the set at a later time. TD networks can represent and apply TD learning to a much wider class of predictions than has previously been possible. Using a random-walk example, we show that these networks can be used to learn to predict by a fixed interval, which is not possible with conventional TD methods. Secondly, we show that if the inter-predictive relationships are made conditional on action, then the usual learning-efficiency advantage of TD methods over Monte Carlo (supervised learning) methods becomes particularly pronounced. Thirdly, we demonstrate that TD networks can learn predictive state representations that enable exact solution of a non-Markov problem. A very broad range of inter-predictive temporal relationships can be expressed in these networks. Overall we argue that TD networks represent a substantial extension of the abilities of TD methods and bring us closer to the goal of representing world knowledge in entirely predictive, grounded terms.

연구 동기 및 목표

• 시간차 학습을 가치 함수 예측을 넘어서 의미적으로 다样的인 상호연관된 예측의 더 넓은 범주로 확장하는 것.
• 기존의 TD 방법으로는 불가능한 고정 간격 예측(예: 특정 지연 후 미래 관측 비트 예측)을 TD 네트워크가 학습할 수 있는지 조사하는 것.
• 마르코프 환경에서 행동 조건부 TD 네트워크의 학습 효율성을 몬테카를로 방법과 비교 평가하는 것.
• 비마르코프 결정 문제를 정확히 해결할 수 있는 예측 상태 표현을 TD 네트워크가 학습할 수 있는지 평가하는 것.
• 특히 세계 지식을 예측적으로 표현할 수 있는 기반화된 형태로, 다양한 의미를 지닌 TD 정의 예측의 표현 잠재력을 탐색하는 것.

제안 방법

• TD 네트워크는 목표 관계(의미적 맥락)를 정의하는 질문 네트워크와 계산 업데이트 과정을 정의하는 답변 네트워크로 구성된다.
• 네트워크의 각 노드는 특정 미래 사건에 대한 스칼라 예측을 나타내며, 링크는 다른 예측이나 관측과의 원하는 시간적 관계를 인코딩한다.
• 답변 네트워크는 각 예측이 이후 시점의 다른 예측으로부터 유도된 목표에 기반해 업데이트되는 시간차 학습 규칙을 사용한다.
• 행동 조건부 예측의 경우 질문 네트워크는 행동 시퀀스에 조건화되어 있어 향후 사건 예측을 더 효율적으로 학습할 수 있다.
• 비마르코프 설정에서는 이전 예측을 포함한 이력 기반 특징을 사용하여 상태 정보를 재구성한다.
• 학습 알고리즘은 예측 오차를 최소화하기 위해 로지스틱 활성화 함수와 조정 가능한 학습률 파rameter를 사용하는 확률적 경사 하강법을 사용한다.

실험 결과

연구 질문

• RQ1 기존의 TD 방법으로는 불가능한 바, 고정된 단계 수 이후의 예측(예: 특정 지연 후 미래 관측 비트 예측)을 TD 네트워크가 학습할 수 있는가?
• RQ2 예측 간 상호관계를 행동에 조건화함으로써 몬테카를로 방법 대비 학습 효율성이 뚜렷이 향상되는가?
• RQ3 비마르코프 환경에서, 오직 부분 관측만 가능할 때도 TD 네트워크가 예측 상태 표현을 학습해 과제를 정확히 해결할 수 있는가?
• RQ4 질문 네트워크가 예측의 의미를 정의하는 데 어떤 역할을 하는지, 그리고 학습 과정에 어떻게 영향을 주는가?
• RQ5 의미적으로 다양한 정의를 가진 TD 정의 예측은 얼마나 넓은 범위로 기반화된 예측적 형태로 세계 지식을 표현하는 데 사용될 수 있는가?

주요 결과

• TD 네트워크는 표준 TD 학습으로는 불가능한 고정 간격(예: 2, 3, 또는 4단계 이후)의 미래 관측 비트 예측을 성공적으로 학습했다.
• 행동 조건부 TD 네트워크는 몬테카를로 방법에 비해 유의미하게 더 빠른 학습 속도를 보였으며, 배치 업데이트 버전은 모든 데이터 크기에서 통계적으로 유의미한 예측 오차 감소를 보였다.
• 비마르코프 랜덤 워크 환경에서, 오직 종료 상태 비트만 관측 가능했음에도 불구하고, TD 네트워크는 예측 상태 표현을 학습해 과제를 정확히 해결했으며, 시간이 지남에 따라 예측 오차는 점차 0에 수렴했다.
• 깊이 4인 TD 네트워크의 학습 곡선은 근사값 0에 수렴하는 근사제곱오차(RMSE)를 보였고, 작은 학습률에서는 다양한 길이의 예측을 서로 다른 속도로 학습함으로써 오차에 특징적인 '두드림' 현상이 나타났다.
• 이 방법은 다양한 네트워크 깊이와 학습률 파rameter에서 뛰어난 안정성을 보였으며, 반복 실행에서 50,000 단계 동안 일관된 오차 감소를 보였다.
• 비마르코프 설정에서 전통적 방법보다 TD 네트워크가 뛰어난 성능을 보였으며, 이는 예측 상태 표현 학습 분야에서 강력한 잠재력을 지닌다는 것을 시사한다.