[논문 리뷰] Curriculum Design for Teaching via Demonstrations: Theory and Applications

Gaurav Yengera, Rati Devidze외 2명|arXiv (Cornell University)|2021. 06. 08.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 애자일 학습에서 시각적 지도를 통한 교육을 위한 통합적이고 상호작용적인 교육과정 전략을 제안한다. 지도의 난이도는 교사의 최적 정책 하에서의 가능성과 학습자 현재 정책 하에서의 가능성 비율에 기반하여 순위를 매긴다. 이 방법은 학습자의 내부 동역학을 알 필요 없이 MaxEnt-IRL 및 CrossEnt-BC 학습자에게 선형 수렴을 달성하며, 과제 특화 난이도 점수를 사용해 교사 없는 환경으로도 확장 가능하여, 합성 주행 및 주행 환경에서 이전 방법들을 능가한다.

ABSTRACT

We consider the problem of teaching via demonstrations in sequential decision-making settings. In particular, we study how to design a personalized curriculum over demonstrations to speed up the learner's convergence. We provide a unified curriculum strategy for two popular learner models: Maximum Causal Entropy Inverse Reinforcement Learning (MaxEnt-IRL) and Cross-Entropy Behavioral Cloning (CrossEnt-BC). Our unified strategy induces a ranking over demonstrations based on a notion of difficulty scores computed w.r.t. the teacher's optimal policy and the learner's current policy. Compared to the state of the art, our strategy doesn't require access to the learner's internal dynamics and still enjoys similar convergence guarantees under mild technical conditions. Furthermore, we adapt our curriculum strategy to the setting where no teacher agent is present using task-specific difficulty scores. Experiments on a synthetic car driving environment and navigation-based environments demonstrate the effectiveness of our curriculum strategy.

연구 동기 및 목표

• 개인화된 교육과정을 설계하여 효율적인 애자일 학습을 위한 지도 수요를 줄이는 데 도전한다.
• 학습자의 내부 동역학에 대해 무관한 교육과정 전략을 개발하여 다양한 학습자 모델에 광범위하게 적용 가능하도록 한다.
• 교사 에이전트가 없는 환경으로 교육과정 접근을 확장하기 위해 과제 특화 난이도 점수를 사용한다.
• 약간의 기술적 조건 하에서 MaxEnt-IRL 및 CrossEnt-BC 학습자에 대해 수렴 보장을 이론적으로 제공한다.
• 합성 주행 및 차량 주행 환경에서 교육과정 전략의 효과성을 경험적으로 검증한다.

제안 방법

• 교사의 최적 정책 하에서의 가능성과 학습자 현재 정책 하에서의 가능성 비율을 기반으로 지도의 난이도 점수로 사용하여 지도를 순위 매긴다.
• MaxEnt-IRL의 경우, 학습자의 업데이트 규칙을 알 필요 없이 약간의 기술적 조건 하에서 선형 수렴을 증명한다.
• CrossEnt-BC의 경우에도 동일한 난이도 기반 순위 매기기 전략을 적용하여 두 학습자 모델 간 통합 교육과정 전략을 가능하게 한다.
• 학습 에포크당 제공되는 지도 수를 점진적으로 증가시키는 스케줄링 메커니즘을 사용하며, 처음에는 가장 선호도가 높은(어려운) 지도부터 시작하여 점차 모든 지도를 포함한다.
• 교사가 없는 상황에서는 환경의 구조적 특성(예: 목표 수 또는 급작스러운 격차)에서 유래한 과제 특화 난이도 점수를 사용해 교육과정 생성을 안내한다.
• 신경망을 사용해 훈련하고 교육과정 스케줄링된 지도 배치를 사용하여 합성 자동차 주행 환경과 두 가지 탐색 기반 환경에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 정책 기반 난이도 점수만을 사용하여 MaxEnt-IRL 및 CrossEnt-BC 학습자 모두에 대해 통합 교육과정 전략을 설계할 수 있는가?
• RQ2 학습자의 내부 동역학을 알지 못하더라도 제안된 교육과정이 MaxEnt-IRL에 대해 선형 수렴을 달성하는가?
• RQ3 과제 특화 특징만을 사용해 교사 에이전트가 없는 환경으로 교육과정 전략을 적응시킬 수 있는가?
• RQ4 기존의 배치 및 상호작용 기반 교육 방법과 비교해 수렴 속도와 샘플 효율성 측면에서 교육과정 전략은 어떻게 성과를 내는가?
• RQ5 교육과정 선택에서 나타나는 구조적 패턴은 탐색 과제에서 직관적인 학습 진행과 일치하는가?

주요 결과

• 제안된 교육과정 전략은 학습자의 업데이트 규칙을 알지 못하더라도 약간의 기술적 조건 하에서 MaxEnt-IRL 학습자에게 선형 수렴을 달성한다.
• 최단 경로 탐색 환경에서는 목표 수가 적고 장애물이 많은 과제를 먼저 우선순위를 매겨, 최적 경로 선택보다는 장애물 회피를 먼저 가르친다.
• TSP 탐색 환경에서는 목표 수는 많지만 급작스러운 격차가 낮은 과제부터 시작하여 점차 더 복잡한 계획 과제를 도입한다.
• 합성 환경 전반에서 균일하고 무작위 지도 스케줄링과 비교해 교육과정 전략이 학습 수렴을 크게 가속화한다.
• 환경적 특성(예: 목표 수 및 급작스러운 격차)에서 유도된 과제 특화 난이도 점수를 사용해 교사 없는 환경으로 효과적으로 일반화된다.
• 경험 결과는 샘플 효율성과 수렴 속도 측면에서 최신 기술을 능가하는 것으로 나타나며, 특히 복잡한 탐색 과제에서 두드러진 성능 향상을 보였다.