[논문 리뷰] ZPD Teaching Strategies for Deep Reinforcement Learning from Demonstrations

Daniel Seita, David M. Chan외 4명|arXiv (Cornell University)|2019. 10. 26.

Reinforcement Learning in Robotics참고 문헌 32인용 수 8

한 줄 요약

이 논문은 깊이 강화 학습에서의 시범 학습을 위한 ZPD 기반 가르침 전략을 제안하며, 샘플 효율성을 향상시키기 위해 다수의 전문가 시범자 중에서 동적으로 교사를 선택한다. 학습자가 현재 능력보다 약간 높은 능력을 지닌 교사를 선택함으로써(즉, 가장 높은 능력을 지닌 교사가 아니라), 아홉 종류의 아케이드 게임에서 더 뛰어난 샘플 효율성과 최종 성능을 달성한다. 이는 최상의 전문가를 사용하는 것이 항상 최적의 가르침이 아니라는 점을 보여준다.

ABSTRACT

Learning from demonstrations is a popular tool for accelerating and reducing the exploration requirements of reinforcement learning. When providing expert demonstrations to human students, we know that the demonstrations must fall within a particular range of difficulties called the "Zone of Proximal Development (ZPD)". If they are too easy the student learns nothing, but if they are too difficult the student is unable to follow along. This raises the question: Given a set of potential demonstrators, which among them is best suited for teaching any particular learner? Prior work, such as the popular Deep Q-learning from Demonstrations (DQfD) algorithm has generally focused on single demonstrators. In this work we consider the problem of choosing among multiple demonstrators of varying skill levels. Our results align with intuition from human learners: it is not always the best policy to draw demonstrations from the best performing demonstrator (in terms of reward). We show that careful selection of teaching strategies can result in sample efficiency gains in the learner's environment across nine Atari games

연구 동기 및 목표

• 깊이 강화 학습에서 단일의 높은 성능을 보이는 교사에 의존하는 대신, 다수의 전문가 시범자 중에서 최적의 교사를 선택하는 방법을 탐구하는 것.
• 심리학적 개념인 근접 발달 영역(ZPD)을 깊이 강화 학습에 적용하여, 가르침 예시가 도전적이지만 학습 가능한 수준이 되도록 보장하는 것.
• 학습자와 교사의 상대적 능력 수준에 기반해 동적으로 교사를 선택함으로써, 경험 재생을 사용하는 오프-폴리시 딥 Q-러닝에서 샘플 효율성과 최종 성능을 향상시키는 것.
• 약간 열등한 교사를 사용하는 것이 최상의 전문가를 사용하는 것보다 더 나은 학습 결과를 낳을 수 있는지 평가하는 것.

제안 방법

• 이 방법은 학습자에 비해 상대적인 성능에 기반해 사전에 훈련된 전문가 에이전트 집합에서 교사를 선택하는 동적 교사 선택 함수 $ f_{\rm select} $ 를 사용한다.
• 각 훈련 단계에서 학습자는 자신의 평균 에피소드 보상보다 약간 높은 성능을 보이는 교사를 선택한다.
• 학습자는 자신의 온-폴리시 경험과 선택된 교사의 오프-폴리시 시범을 공유된 경험 재생 버퍼에 통합한다.
• 선택 전략은 다양한 함수를 사용해 평가된다: '최고 앞서기'(가장 높은 성능의 교사), 'k 앞서기'(성능 순위에서 k단계 앞선 교사), '랜덤 앞서기'(ZPD 내 교사 중에서 무작위 선택).
• 이 방법은 경험 재생을 사용하는 더블 딥 Q 네트워크(DDQN) 프레임워크 내에서 구현되며, 학습자와 교사 에이전트 모두가 공유된 경험에서 학습할 수 있다.
• 이 방법은 아홉 종류의 아케이드 2600 게임에서 평가되며, 다양한 교사 선택 전략 간의 학습 곡선과 최종 성능을 비교한다.

실험 결과

연구 질문

• RQ1 학습자의 현재 기량 수준에 가까운 교사를 선택하는 것(ZPD 기반)이 가장 높은 성능을 보이는 교사를 선택하는 것보다 더 뛰어난 샘플 효율성을 보일까?
• RQ2 다양한 아케이드 게임에서 '최고 앞서기', '5 앞서기', 또는 '랜덤 앞서기' 전략의 성능는 어떻게 다를까?
• RQ3 약간 열등한 교사(하지만 여전히 ZPD 내에 있는)를 사용하는 것이, 특히 복잡하거나 비최적의 전문가 행동을 보이는 환경에서는 더 빠른 학습을 이끌 수 있을까?
• RQ4 ZPD 내에서 교사 선택을 무작위화할 경우 학습 성능에 어떤 영향을 미치며, 이러한 다양성에 의해 얻는 측정 가능한 이점은 존재할까?
• RQ5 동적 교사 선택 전략은 경험 재생을 사용하는 오프-폴리시 딥 강화 학습에서 최종 성능과 샘플 효율성을 향상시킬 수 있을까?

주요 결과

• '최고 앞서기' 전략은 가장 높은 성능을 보이는 교사를 선택하는 방식이지만, 일관되게 최고의 결과를 내지 못했으며, 마지막 100 에피소드 평균 기준으로는 오직 한 게임(Pong)에서만 최상의 성능을 보였다.
• Breakout에서는 '최고 앞서기'와 '10 앞서기' 전략이 가장 열등했으며, 이는 초기 학습자에게 매우 높은 수준의 교사가 오히려 비효율적이거나 혼란스러운 시범을 제공할 수 있음을 시사한다.
• '5 앞서기' 전략은 여러 게임에서 다른 전략들을 압도적으로 뛰어넘었으며, 이는 도전성과 학습 가능성 사이의 균형을 잘 맞춘 중간 수준의 성능 간격이 더 나은 성능을 낳을 수 있음을 보여준다.
• Space Invaders에서는 '최고 앞서기' 방법이 항상 보상 1007.5를 가진 교사를 사용한 반면, '5 앞서기' 방법은 최종 스냅샷까지 보상이 600에서 증가하는 교사를 사용하며 동적 적응을 보였다.
• '랜덤 앞서기' 전략은 ZPD 내 교사의 보상 범위가 더 넓었으며, 이는 교사 선택의 다양성이 아직 완전히 이해되지 않은 이점을 제공할 수 있음을 암시한다.
• 전반적으로 결과는 유일하게 가장 높은 성능을 내는 시범자를 사용하는 것이 최적의 전략이 아니며, ZPD 기반의 교사 선택 전략이 여러 아케이드 환경에서 뚜렷한 샘플 효율성 향상을 이끌 수 있음을 보여준다.