[논문 리뷰] Advantages and Limitations of using Successor Features for Transfer in Reinforcement Learning

Lucas Lehnert, Stefanie Tellex외 1명|arXiv (Cornell University)|2017. 07. 31.

Reinforcement Learning in Robotics참고 문헌 8인용 수 39

한 줄 요약

이 논문은 강화학습에서 전이학습을 위한 후속 특징(Successor Features, SFs)의 사용을 평가하며, 보상 함수가 약간 변화할 경우 빠른 적응을 가능하게 하지만, 정책에 의존하는 표현 방식으로 인해 최적 정책 간 차이가 클 경우 실패함을 입증한다. 주요 기여는 유사한 환경에서 성공을 거둔 SFs가 최적 정책이 크게 다를 경우 전이에 부적합하다는 점을 규명한 것이다.

ABSTRACT

One question central to Reinforcement Learning is how to learn a feature representation that supports algorithm scaling and re-use of learned information from different tasks. Successor Features approach this problem by learning a feature representation that satisfies a temporal constraint. We present an implementation of an approach that decouples the feature representation from the reward function, making it suitable for transferring knowledge between domains. We then assess the advantages and limitations of using Successor Features for transfer.

연구 동기 및 목표

• 다양한 보상 함수를 가진 다른 강화학습 작업 간 지식 전이가 Successor Features(SFs)를 통해 효과적으로 이루어지는지 조사하기.
• 보상 구조만 다를 뿐인 MDP 간 전이 시 SF 표현의 확장성과 재사용 가능성 평가하기.
• 특히 최적 정책이 작업 간 변화할 경우 SF의 근본적 한계 규명하기.
• 최적 정책에 미세한 변화가 있는가, 큰 변화가 있는가에 따라 SF 기반 전이 성능 평가하기.

제안 방법

• 보상 함수와 특징 표현을 분리하기 위해, 보상과 무관하게 상태-행동 역학을 캡처하는 후속 특징(SF) 표현을 학습함.
• 선형 함수 근사 기법을 사용하여 Q-값을 SF 벡터와 보상 함수를 나타내는 가중치 벡터의 내적으로 표현함.
• 주어진 정책 하에서 미래의 SF와의 일致성을 강제하는 시간 차이 업데이트를 통해 SF 표현을 학습함.
• Bellman 방정식을 활용해 SF 추정치를 반복적으로 업데이트함으로써 장기적인 상태-행동 방문 패턴을 반영함.
• 작은 변화와 큰 변화가 있는 최적 정책을 가진 환경(그리드월드 및 풀들 월드 변형)에서 SF 전이 성능을 비교하는 실험 수행.
• 수렴을 향상시키기 위해 보상 함수 간 전이를 부드럽게 하기 위해 정책 냉각 전략(ε 감소: 1.0에서 0.1로)을 사용함.

실험 결과

연구 질문

• RQ1 보상 함수만 다른 MDP 간에 후속 특징이 지식 전이를 빠르게 할 수 있는가?
• RQ2 SF 기반 전이 성능가 최적 정책 변화에 따라 어떻게 달라지는가?
• RQ3 SF 손실 목표가 학습 중에 진동하는 이유는 무엇이며, 이는 학습 동역학에 대해 어떤 의미를 갖는가?
• RQ4 다른 최적 정책을 가진 작업 간에 SF 표현을 얼마나 재사용할 수 있는가?
• RQ5 최적 정책이 크게 변화할 경우 SF를 전이에 사용하는 데 근본적인 제약가 존재하는가?

주요 결과

• 최적 정책이 유사한 작업 간에서는 SF 기반 전이가 학습을 크게 가속화함을 실험을 통해 확인함.
• 최적 정책이 빠르게 복구되더라도 SF 손실 목표가 학습 중에 진동함을 관찰하여 표현 학습 과정의 불안정성을 시사함.
• 목표 위치가 다른 모서리로 이동하는 등 최적 정책이 크게 변화할 경우 SF 표현은 전이에 실패하며 오히려 열악한 초기화 역할을 함.
• SF 표현은 학습 시 사용된 정책에 본질적으로 의존하므로, 최적 정책가 다를 경우 전이에 부적합함.
• 작은 보상 변화가 있는 풀들 월드와 같은 환경에서는 SF 전이가 성능 향상에 상당한 기여를 하며, 안정된 정책 조건에서의 효과성을 확인함.
• 연구는 SF가 유사한 작업에서 전이에 강력하지만, 최적 정책가 다를 경우 일반화가 제한됨을 결론으로 내림.