[논문 리뷰] PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning

Angelos Filos, Clare Lyle외 4명|arXiv (Cornell University)|2021. 02. 24.

Reinforcement Learning in Robotics참고 문헌 88인용 수 5

한 줄 요약

이 논문은 보상 또는 목표 정보 없이도 다수의 에이전트로부터의 레이블이 없는 시연를 활용하는 새로운 강화학습 프레임워크인 PsiPhi-Learning을 제안한다. 이는 후계 특징( successor features)과 역 시간 차분 학습(inverse temporal difference learning, ITD)을 사용함으로써, 공유되는 환경의 동역학과 에이전트별 선호도를 분리한다. 이로 인해 더 빠른 학습과 더 높은 샘플 효율성, 새로운 작업으로의 제로샷 전이가 가능해지며, 이론적 성능 보장과 기존 베이스라인에 비해 뛰어난 실험적 성능을 제공한다.

ABSTRACT

We study reinforcement learning (RL) with no-reward demonstrations, a setting in which an RL agent has access to additional data from the interaction of other agents with the same environment. However, it has no access to the rewards or goals of these agents, and their objectives and levels of expertise may vary widely. These assumptions are common in multi-agent settings, such as autonomous driving. To effectively use this data, we turn to the framework of successor features. This allows us to disentangle shared features and dynamics of the environment from agent-specific rewards and policies. We propose a multi-task inverse reinforcement learning (IRL) algorithm, called \emph{inverse temporal difference learning} (ITD), that learns shared state features, alongside per-agent successor features and preference vectors, purely from demonstrations without reward labels. We further show how to seamlessly integrate ITD with learning from online environment interactions, arriving at a novel algorithm for reinforcement learning with demonstrations, called $ΨΦ$-learning (pronounced `Sci-Fi'). We provide empirical evidence for the effectiveness of $ΨΦ$-learning as a method for improving RL, IRL, imitation, and few-shot transfer, and derive worst-case bounds for its performance in zero-shot transfer to new tasks.

연구 동기 및 목표

• 보상 정보가 없고 목표가 알려지지 않은 상황에서 다중 에이전트 시연를 강화학습에 효과적으로 활용하는 데 도전하는 것.
• 후계 특징을 사용하여 공유되는 환경의 동역학과 에이전트별 정책 및 선호도를 분리하는 것.
• 오프라인 역 강화학습과 온라인 강화학습을 통합하여 샘플 효율성을 향상시킬 수 있는 통합 프레임워크를 개발하는 것.
• 공유된 특징과 임의의 작업에 특화된 선호도를 분리된 표현을 활용해 새로운 작업으로의 제로샷 적응을 가능하게 하는 것.
• 제안된 프레임워크에서 제로샷 전이에 대해 이론적 최악의 성능 한계를 제공하는 것.

제안 방법

• 레이블이 없는 궤적에서 보상 감독 없이도 후계 특징과 각 시연자에 대한 선호도 벡터를 추론하기 위해 역 시간 차분( inverse temporal difference, ITD) 학습을 제안한다.
• 다중 작업 역 강화학습 설정을 사용하여, 동시에 공유 누적치(cumulants, 환경 특징), 각 에이전트의 후계 특징, 선호도 벡터를 시연로부터 공동으로 학습한다.
• 자기 에이전트 정책과 추론된 시연자 정책을 조합하기 위해 일반화된 정책 개선(GPI)을 사용하여 온라인 RL을 위한 향상된 경험을 생성한다.
• 시연와 온라인 환경 상호작용을 모두 활용하는 하이브리드 훈련 방식을 통해 ITD를 온라인 RL과 통합한다.
• 후계 특징을 활용하여 공유된 특징를 고정하고 임의의 작업에 특화된 선호도 벡터만 갱신함으로써 제로샷 전이를 가능하게 한다.
• 많은 수의 시연자에 대해 스케일링할 수 있도록 보편적인 후계 특징 근사기( approximator)를 사용한다.

실험 결과

연구 질문

• RQ1 보상 레이블이 없이도 레이블이 없는 시연로부터 공유되는 환경 표현과 에이전트별 정책을 학습할 수 있는가?
• RQ2 시연자 목표가 알려지지 않았고 상호 충돌할 수 있는 상황에서, 다중 작업 시연를 온라인 강화학습에 효과적으로 통합할 수 있는가?
• RQ3 후계 특징을 통해 학습 중에 볼 수 없었던 새로운 작업으로의 제로샷 전이가 가능한가?
• RQ4 이 설정에서 제로샷 전이에 대해 이론적 성능 보장을 제공할 수 있는가?
• RQ5 기본적인 이민레이션 학습 및 강화학습 베이스라인에 비해 샘플 효율성과 최종 성능 측면에서 제안된 방법은 어떻게 비교되는가?

주요 결과

• ITD 학습은 보상 레이블이 없는 상황에서 기존 IRL 방법과 비교해도 뛰어나거나 유사한 성능을 달성한다.
• PsiPhi-Learning는 시연자 목표가 학습자 작업과 부분적으로 일치할 경우 학습 속도를 크게 향상시키며, 샘플 효율성 측면에서 표준 RL을 능가한다.
• 시연가 유용하지 않거나 오류가 있을 경우, 단순한 이민레이션 방법에서 관찰되는 성능 붕괴를 피하면서도 자연스럽게 표준 RL로의 성능 저하를 보인다.
• 새로운 목표로의 제로샷 전이가 선호도 벡터만 갱신함으로써 가능해졌으며, 실험 결과는 새로운 목표에서 효과적인 정책 적응을 보였다.
• 이론적 최악의 성능 한계가 유도되었으며, 이는 제로샷 전이 시나리오에서 제한된 최적성의 유지함을 보여준다.
• 격자 세계와 교통 시뮬레이션 환경에서의 실험 평가를 통해 샘플 효율성 향상, 더 빠른 수렴, 그리고 관련성 없거나 충돌하는 시연에 대한 강건성을 입증했다.