[논문 리뷰] Interactive Robot Training for Non-Markov Tasks

Ankit Shah, Wadhwania, Samir외 1명|arXiv (Cornell University)|2020. 03. 04.

Machine Learning and Algorithms참고 문헌 30인용 수 5

한 줄 요약

이 논문은 인간의 시연와 실시간 로봇 행동 평가를 통해 비마르코프성 작업 사양을 베이지안적으로 학습하는 상호작용형 로봇 훈련 프레임워크를 제안한다. 가장 불확실한 작업 실행을 주도적으로 질의하는 활동적 학습을 통해, 단순 시연 또는 무작위 질의 기반의 베이스라인 대비 진정한 LTL 사양에 더 높은 유사도를 달성한다. 시뮬레이션과 실제 사용자 연구를 통해 검증되었으며, 86%의 평균 유사도로 식탁을 정리하는 작업을 가르치는 데 성공하였다.

ABSTRACT

Defining sound and complete specifications for robots using formal languages is challenging, while learning formal specifications directly from demonstrations can lead to over-constrained task policies. In this paper, we propose a Bayesian interactive robot training framework that allows the robot to learn from both demonstrations provided by a teacher, and that teacher's assessments of the robot's task executions. We also present an active learning approach -- inspired by uncertainty sampling -- to identify the task execution with the most uncertain degree of acceptability. Through a simulated experiment, we demonstrate that our active learning approach identifies a teacher's intended task specification with an equivalent or greater similarity when compared to an approach that learns purely from demonstrations. Finally, we demonstrate the efficacy of our approach in a real-world setting through a user-study based on teaching a robot to set a dinner table.

연구 동기 및 목표

• 형식적 언어인 LTL와 같은 언어로 복잡하고 시간적으로 구조화된 로봇 작업을 지정하는 데 있어 비전문가가 직접 작성하기 어려운 과제를 해결하기 위해.
• 로봇 행동에 대한 인간 피드백을 통합하여 단순히 시연만으로 학습할 경우 발생하는 과도한 제약을 줄이기 위해.
• 로봇의 가장 불확실한 작업 실행을 식별하고 질의하는 활동적 학습 전략을 개발하여 LTL 사양에 대한 믿음 분포를 효율적으로 개선하기 위해.
• 모델을 시뮬레이션과 실제 사용자 연구를 통해 검증하여, 로봇이 식탁을 정리하는 작업을 가르치는 데에 활용하기 위해.

제안 방법

• 프레임워크는 선형 시간 논리(LTL) 공식에 대한 믿음 분포로 작업 사양을 모델링하여, 교사의 의도한 사양에 대한 불확실성을 표현한다.
• 교사의 시연와 로봇이 실행한 작업 시퀀스에 대한 평가라는 두 가지 교육 방식을 통합한다.
• 불확실성 샘플링 기반의 활동적 학습 전략이 인간 평가에 적합한 수준에서 엔트로피가 가장 높은 로봇 실행을 선택한다.
• 각 인간 평가 이후 베이지안 추론을 사용하여 믿음 분포를 갱신함으로써 사양에 대한 불확실성을 감소시킨다.
• 사후 분포에서 가장 가능성 있는 LTL 공식을 식별하기 위해 최대 사후확률(MAP) 추정을 사용한다.
• 프레임워크는 시뮬레이션과 몸체를 갖춘 실제 로봇 배포를 통한 실제 사용자 연구에서 평가된다.

실험 결과

연구 질문

• RQ1 시연와 로봇 행동 평가를 융합한 상호작용 학습 프레임워크가 비마르코프 작업을 위한 사양 학습을 향상시킬 수 있는가?
• RQ2 가장 불확실한 로봇 실행을 활동적으로 질의하는 전략이 단순히 시연만으로 학습하는 수동적 학습 대비 더 빠르고 정확하게 진정한 사양에 수렴하는가?
• RQ3 실제 인간-로봇 상호작용 환경에서 복잡하고 시간적으로 구조화된 작업을 가르치는 데 활동적 학습 접근법은 얼마나 효과적인가?
• RQ4 실제 환경에서 로봇의 최종 믿음 분포가 진정한 LTL 사양 사양과 얼마나 일치하는가?

주요 결과

• 실제 사용자 연구에서 로봇은 최종 믿음과 진정한 작업 사양 간 평균 유사도 0.86(95% 신뢰구간 [0.82, 0.92])를 달성하였다.
• 작업 1의 경우, 최종 믿음과 진정한 사양 간 중앙값 유사도는 0.87(95% 신뢰구간 [0.73, 0.94])였으며, 21명의 참가자 중 14명이 가장 가능성 있는 LTL 사양으로 진정한 공식을 회복하였다.
• 작업 2의 경우, 중앙값 유사도는 0.78(95% 신뢰구간 [0.59, 0.99])였으며, 6명의 참가자 중 2명이 진정한 공식을 가장 가능성 있는 것으로 회복하였다.
• 작업 1의 네 건의 경우와 작업 2의 두 건의 경우에서 사후 믿음은 진정한 사양과 단 하나의 논리적 합성문만 다를 뿐이었으며, 이는 사양 복구의 높은 정밀도를 시사한다.
• 모든 참가자가 테스트 실행 동안 오류 없이 로봇이 할당된 작업을 수행하도록 성공적으로 가르쳤으며, 이는 강건성과 실용적 타당성을 입증한다.
• 시뮬레이션에서 활동적 학습 접근법은 단순 시범(시연 전용) 및 무작위 질의 기반 베이스라인 모두를 능가했으며, 다양한 작업 사양에 걸쳐 진정한 사양과의 유사도가 더 높았다.