[논문 리뷰] Teaching Inverse Reinforcement Learners via Features and Demonstrations

Luis Haug, Sebastian Tschiatschek외 1명|arXiv (Cornell University)|2018. 10. 21.

Reinforcement Learning in Robotics인용 수 39

한 줄 요약

이 논문은 교사와 학습자 간의 특징 표현이 다를 경우 역강화학습(IRL)에서 성능 저하를 정량화하기 위해 '강의 위험(teaching risk)'의 개념을 도입한다. 이는 특징 표현의 불일치로 인한 성능 저하를 측정하는 데 사용되며, TRGreedy라는 특징 강의 알고리즘을 제안하여 가장 정보성 있는 특징을 선택함으로써 강의 위험을 최소화함으로써, 학습자가 완전한 세계관 지식 없이도 근사 최적 정책을 복구할 수 있도록 한다.

ABSTRACT

Learning near-optimal behaviour from an expert's demonstrations typically relies on the assumption that the learner knows the features that the true reward function depends on. In this paper, we study the problem of learning from demonstrations in the setting where this is not the case, i.e., where there is a mismatch between the worldviews of the learner and the expert. We introduce a natural quantity, the teaching risk, which measures the potential suboptimality of policies that look optimal to the learner in this setting. We show that bounds on the teaching risk guarantee that the learner is able to find a near-optimal policy using standard algorithms based on inverse reinforcement learning. Based on these findings, we suggest a teaching scheme in which the expert can decrease the teaching risk by updating the learner's worldview, and thus ultimately enable her to find a near-optimal policy.

연구 동기 및 목표

• 교사의 특징 공간과 학습자의 특징 공간이 다를 경우 발생하는 IRL의 도전 과제를 해결한다. 이는 최적의 정책 학습이 어려워지는 데 기인한다.
• 세계관 불일치로 인해 발생하는 교사와 학습자 간의 성능 격차를 새로운 지표인 강의 위험으로 정식화한다.
• 학습자의 세계관을 향상시키기 위해 가장 관련성이 높은 특징을 선택하고 강의하는 강의 전략을 개발한다.
• 학습자의 내부 학습 알고리즘을 완전히 알지 못해도 강의 위험을 최소화할 수 있는 효율적인 알고리즘(TRGreedy)을 설계한다.
• 실험적으로 강의 위험 기반 특징 강의가 랜덤 선택이나 성능 기반 선택보다 훨씬 뛰어난 정책 성능을 달성함을 입증한다.

제안 방법

• 강의 위험을 학습자 세계관과 교사 세계관에서 최적 정책 간의 최대 성능 격차에 대한 상한선으로 정의한다.
• 학습자의 특징 공간과 진짜 보상 함수를 기반으로 강의 위험을 수식화하며, 학습자의 특징 행렬의 커널을 사용한다.
• 강의 위험 감소를 기반으로 특징을 선택하는 그리디 알고리즘인 TRGreedy를 제안한다. 이는 예측된 성능 기반 선택이 아니라 강의 위험 감소 기반 선택이다.
• 학습자의 특징 행렬의 커널을 사용해 강의 위험을 효율적으로 계산함으로써, 학습자가 사용하는 특정 IRL 알고리즘에 의존하지 않는다.
• 표준 IRL과 특징 강의를 통합한다. 특징을 강의한 후, 학습자는 시범을 통해 보상 함수를 추론하고 정책을 최적화한다.
• 합성 시범과 다양한 특징 세트를 사용한 격자 환경에서 알고리즘을 평가하며, 랜덤 선택 및 성능 기반 그리디 선택과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 IRL에서 교사의 특징 표현과 학습자의 특징 표현 간 불일치로 인해 발생하는 성능 저하를 어떻게 정량화할 수 있는가?
• RQ2 세계관 불일치로 인한 최적 정책 학습의 위험을 원칙적으로 측정할 수 있는 방법은 무엇인가?
• RQ3 어떤 특징을 강의자가 가르쳐야 학습자 정책과 교사 정책 간의 성능 격차를 최소화할 수 있는가?
• RQ4 강의 위험 최소화 기반의 강의 전략이 기대 성능 향상 또는 랜덤 선택 기반 전략보다 우수한가?
• RQ5 학습자의 내부 학습 메커니즘에 대한 불확실성에 대해 제안된 강의 알고리즘은 얼마나 강건한가?

주요 결과

• 강의 위험은 학습자 세계관과 교사 세계관에서 최적 정책 간의 성능 격차에 대해 날것으로 계산 가능한 타ight 상한선을 제공한다.
• 강의 위험이 작을 경우, 표준 IRL 알고리즘이 세계관 불일치가 있음에도 불구하고 근사 최적 정책을 복구할 수 있다.
• 모든 실험에서 TRGreedy는 랜덤 특징 선택보다 뛰어난 성능을 보이며, 상대적 정책 성능이 유의미하게 높아진다.
• TRGreedy는 성능 기반 그리디 전략(PerfGreedy)과 유사한 성능을 달성하지만, 학습자의 알고리즘을 시뮬레이션하지 않기 때문에 런타임이 크게 줄어든다.
• 강의 위험은 매 강의 특징마다 단조 감소하며, TRGreedy는 랜덤 선택보다 강의 위험을 더 빠르게 감소시킨다.
• 강의 위험은 학습자의 특징 행렬의 커널에 의존하므로, 학습자의 최적화 절차에 대한 구체적인 정보가 없더라도 강의 알고리즘이 강건하다.