[논문 리뷰] Temporal Abstraction in Reinforcement Learning with the Successor Representation

Marlos C. Machado, André Sales Barreto외 2명|arXiv (Cornell University)|2021. 10. 12.

Reinforcement Learning in Robotics인용 수 11

한 줄 요약

이 논문은 강화학습에서 시간적으로 추상화된 옵션을 발견하는 기초 프레임워크로 스토커서 표현( successor representation, SR)을 제안한다. 이는 효율적인 탐색과 계획을 가능하게 하며, SR의 상태 후속 패턴을 활용해 자동으로 유용한 옵션을 식별함으로써 표현과 학습이 연속적이고 상호 강화되는 사이클을 형성한다. 또한 추가 학습 없이도 조합적 옵션 조합을 허용한다.

ABSTRACT

Reasoning at multiple levels of temporal abstraction is one of the key attributes of intelligence. In reinforcement learning, this is often modeled through temporally extended courses of actions called options. Options allow agents to make predictions and to operate at different levels of abstraction within an environment. Nevertheless, approaches based on the options framework often start with the assumption that a reasonable set of options is known beforehand. When this is not the case, there are no definitive answers for which options one should consider. In this paper, we argue that the successor representation (SR), which encodes states based on the pattern of state visitation that follows them, can be seen as a natural substrate for the discovery and use of temporal abstractions. To support our claim, we take a big picture view of recent results, showing how the SR can be used to discover options that facilitate either temporally-extended exploration or planning. We cast these results as instantiations of a general framework for option discovery in which the agent's representation is used to identify useful options, which are then used to further improve its representation. This results in a virtuous, never-ending, cycle in which both the representation and the options are constantly refined based on each other. Beyond option discovery itself, we also discuss how the SR allows us to augment a set of options into a combinatorially large counterpart without additional learning. This is achieved through the combination of previously learned options. Our empirical evaluation focuses on options discovered for exploration and on the use of the SR to combine them. The results of our experiments shed light on important design decisions involved in the definition of options and demonstrate the synergy of different methods based on the SR, such as eigenoptions and the option keyboard.

연구 동기 및 목표

• 사전에 정의된 옵션이 존재하지 않거나 비최적일 수 있는 강화학습에서 옵션 발견의 열린 문제를 해결한다.
• 특히 에이전트의 내부 표현, 즉 스토커서 표현(SR)을 활용해 의미 있는 시간적으로 연장된 옵션을 유도하는 일반적인 프레임워크를 개발한다.
• 개선된 옵션이 표현을 정교화하고, 더 나은 표현이 더 효과적인 옵션을 발견하도록 하는 자가 개선 루프를 가능하게 한다.
• 추가 학습 없이도 기존 옵션을 조합하여 기하급수적으로 큰 옵션 집합을 만들 수 있도록 하며, 옵션 키보드 프레임워크를 통해 SR을 활용해 옵션 조합을 가능하게 한다.
• 희박하거나 비정적 보상이 문제인 환경, 예를 들어 지속적 학습 및 다중작업 학습에서 SR 기반 옵션 발견의 실증적 검증을 제공한다.

제안 방법

• 각 상태에서의 미래 상태 방문 패턴을 코딩하는 스토커서 표현(SR)을 사용하여 구조적으로 의미 있는 시간적 추상화를 식별한다.
• SR 행렬의 스펙트럼 분해를 적용하여 환경의 내재적 기하학에 기반한 자연스러운 옵션인 고유옵션(eigenoptions)을 추출한다.
• SR을 사용해 잘 연결된 상태를 식별하고, 효율적인 상태 커버리지의 핵심이 될 수 있는 허브 상태를 찾음으로써 커버링 옵션을 계산한다.
• 상호작용 데이터로부터 SR을 점진적으로 추정하는 온라인, 오프폴리시 학습 방식을 구현하며, 변화하는 SR 행렬에서 옵션을 발견한다.
• 옵션 키보드 프레임워크를 활용해 기존 옵션을 조합하여 새로운 옵션을 생성하며, 재학습 없이도 행동 레파지토리의 기하급수적 확장을 가능하게 한다.
• SR 행렬의 비대칭성을 처리하기 위해 고유값 분해 이전에 (Ψ + Ψᵀ)/2 방식으로 대칭화하여 안정적인 실수 고유벡터를 확보한다.

실험 결과

연구 질문

• RQ1 환경에 대한 사전 지식 없이도 스토커서 표현이 시간적으로 추상화된 옵션을 자연스럽게 발견하는 데 기초가 될 수 있는가?
• RQ2 기존 방법인 고유옵션과 커버링 옵션과 비교할 때, SR 기반 옵션 발견 프레임워크는 탐색 및 계획 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 희박한 보상 환경에서 추가 학습 없이도 SR이 작은 초기 옵션 집합에서 기하급수적으로 큰 옵션 집합을 자동으로 조합할 수 있는 정도는 어느 정도인가?
• RQ4 옵션 발견의 설계 선택 사항(예: 행렬 선택, 고유벡터 선택, 정책 학습 방법 등)이 희박 보상 환경에서 성능에 미치는 영향은 얼마나 큰가?
• RQ5 표현과 옵션 간의 반복적 정교화 루프가 옵션 품질과 표현 정확도 양 측면에서 지속적인 향상으로 이어지는가?

주요 결과

• 스토커서 표현은 희박 보상이 있는 격자 환경에서 시간적으로 연장된 탐색과 계획을 크게 향상시키는 옵션을 발견함으로써 성능 향상을 입증했다.
• SR을 통해 발견한 고유옵션과 커버링 옵션은 수익 극대화 작업에서 더 빠른 수렴을 달성했으며, 네 방 방식의 4개 환경에서 50번의 독립 실행에서 성능 향상이 관찰되었다.
• 옵션 키보드 프레임워크를 통해 작은 초기 옵션 집합에서 출발해 추가 학습 없이도 기하급수적으로 큰 옵션 집합을 생성할 수 있었으며, SR을 통해 기존 옵션을 조합함으로써 가능했다.
• 실증 결과에 따르면, 커버링 옵션 발견에 그래프 라플라시안 대신 SR을 사용해도 성능 차이가 미미했으며, 비대칭성으로 인해 고유벡터가 복잡한 성분을 가질 경우에도 유사한 성능를 보였다.
• 표현 정교화와 옵션 발견의 반복적 사이클은 자가 개선 루프를 형성한다: 더 나은 옵션이 더 나은 SR 추정치를 만들어내며, 그 결과 더 나은 옵션이 유도된다.
• 온라인 학습 환경에서는 SR 기반 옵션 발견 과정이 시간이 지남에 따라 수렴하며, 고유옵션과 커버링 옵션이 점점 환경의 구조적 특성(예: 대각선 및 경계 전이)과 일치해졌다.