[논문 리뷰] Human-Robot Collaboration via Deep Reinforcement Learning of Real-World Interactions

Jonas Tjomsland, Ali Shafti외 1명|arXiv (Cornell University)|2019. 12. 02.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 실세계 상호작용 30분 내에 인간-로봇 협업을 수행할 수 있도록 소프트 액터-크리틱(SAC) 딥 강화학습을 사용하는 인간-로봇 협업 시스템을 제시한다. 이는 시뮬레이션 전훈련이나 명시적 인간 모델 개인화 없이도 인간-인간 팀 수준의 성능을 달성한다.

ABSTRACT

We present a robotic setup for real-world testing and evaluation of human-robot and human-human collaborative learning. Leveraging the sample-efficiency of the Soft Actor-Critic algorithm, we have implemented a robotic platform able to learn a non-trivial collaborative task with a human partner, without pre-training in simulation, and using only 30 minutes of real-world interactions. This enables us to study Human-Robot and Human-Human collaborative learning through real-world interactions. We present preliminary results, showing that state-of-the-art deep learning methods can take human-robot collaborative learning a step closer to that of humans interacting with each other.

연구 동기 및 목표

• 시뮬레이션 전훈련에 의존하지 않고 실세계에서 인간-로봇 및 인간-인간 협업 학습을 연구하기 위한 로봇 플랫폼을 개발하는 것.
• 샘플 효율적인 딥 강화학습이 실세계 인간 상호작용에서 직접 학습할 수 있도록 로봇이 협업 작업을 학습할 수 있는지 조사하는 것.
• DRL 에이전트가 최소한의 실세계 상호작용으로도 비트레이드한 물리적 작업에서 인간 수준의 협업 성능을 달성할 수 있는지 평가하는 것.
• 시뮬레이션에서 실세계로의 도메인 이탈 문제를 피하기 위해 실세계 데이터만을 사용하여 인간을 포함한 훈련을 처음부터 수행할 수 있는지 탐색하는 것.

제안 방법

• 샘플 효율적인 딥 강화학습을 위해 자동 온도 조정 기능이 있는 소프트 액터-크리틱(SAC) 알고리즘을 사용한다.
• 유니버설 로봇의 UR10 로봇과 트레이를 DRL 에이전트가 제어하며, 공을 목표 위치로 이동시키기 위해 트레이를 한 축을 따라 회전시킨다.
• 인간 파트너는 움직임 캡처 마커를 사용한 원격 제어 인터페이스를 통해 다른 트레이 축을 제어하며 실시간 상호작용을 제공한다.
• 인간의 동작은 200ms 지연이 있는 PD 제어기로 로봇 명령어로 매핑되어 실시간 인간-로봇 상호작용 역학을 시뮬레이션한다.
• DRL 에이전트는 공과 트레이의 위치를 공동 상태로 관측하고 연속적인 행동 공간을 기반으로 작업 성공률을 최적화하기 위한 행동을 취한다.
• 훈련은 시뮬레이션 없이 완전히 실세계에서 수행되며, 인간-로봇 상호작용 30분 분량과 4,000회 미만의 상호작용 단계만을 사용한다.

실험 결과

연구 질문

• RQ1 DRL 에이전트가 실세계 상호작용 30분 내로 인간 파트너와 비트레이드한 협업 작업을 학습할 수 있는가?
• RQ2 실세계 DRL로 훈련된 인간-로봇 팀의 성능이 동일한 작업에서 인간-인간 팀의 성능과 유사한가?
• RQ3 인간 파트너가 훈련 도중 전략을 조정할 경우, 인간 행동을 명시적으로 모델링하지 않더라도 에이전트의 성능은 어떻게 변화하는가?
• RQ4 샘플 효율적인 딥 강화학습이 시뮬레이션 전훈련이 필요 없이 실세계에서 인간을 포함한 훈련을 처음부터 가능하게 할 수 있는가?

주요 결과

• 인간-로봇 팀은 실세계 훈련 30분 내에 협업 작업을 해결했으며, 테스트 시험에서 DRL 에이전트는 최대 200점 중 평균 185.6점의 점수를 기록했다.
• 인간-인간 비교에서 10명의 참가자 중 5명이 에이전트와 협업할 때와 전문가 인간과 협업할 때 성능에 유의미한 차이가 없음을 보였다.
• 처음 500단계 이내에 목표에 도달한 적이 2번 이상인 참가자들은 더 나은 장기 협업 성능를 보였으며, 이는 초기 성공의 중요성을 시사한다.
• DRL 에이전트는 인간 행동 적응에 대해 강건성을 보이며, 인간 파트너의 행동을 명시적으로 모델링하지 않더라도 시간이 지남에 따라 성능이 향상되었다.
• 시뮬레이션 전훈련 없이도 인간 수준의 협업 성능를 달성했으며, 실세계에서 인간을 포함한 DRL 훈련의 가능성을 입증했다.
• 학습 곡선은 시간이 지남에 따라 일관성 감소를 보이며, 훈련이 진행됨에 따라 인간과 에이전트 간의 협력 수준 향상이 관찰되었다.