[논문 리뷰] A Learning Based Optimal Human Robot Collaboration with Linear Temporal Logic Constraints

Bo Wu, Bin Hu외 1명|arXiv (Cornell University)|2017. 05. 31.

Robot Manipulation and Learning참고 문헌 25인용 수 9

한 줄 요약

이 논문은 선형 시간 논리(LTL) 제약 조건 하에서 인간-로봇 협업 환경에서 학습 기반 최적 작업 할당 프레임워크를 제안한다. 인간의 신뢰도와 피로도를 전이 확률이 알려지지 않은 마르코프 결정 과정(MDP)으로 모델링하며, PAC-학습 기반 알고리즘을 사용해 시스템 모델을 학습하고, 평균 작업 사이클 당 비용을 최소화하면서 LTL 사양을 충족할 확률을 극대화하는 정책을 도출한다. 성능 한계를 통해 학습된 정책이 진정한 모델 하에서 최적 정책에 임의로 가까워질 수 있음을 보여준다.

ABSTRACT

This paper considers an optimal task allocation problem for human robot collaboration in human robot systems with persistent tasks. Such human robot systems consist of human operators and intelligent robots collaborating with each other to accomplish complex tasks that cannot be done by either part alone. The system objective is to maximize the probability of successfully executing persistent tasks that are formulated as linear temporal logic specifications and minimize the average cost between consecutive visits of a particular proposition. This paper proposes to model the human robot collaboration under a framework with the composition of multiple Markov Decision Process (MDP) with possibly unknown transition probabilities, which characterizes how human cognitive states, such as human trust and fatigue, stochastically change with the robot performance. Under the unknown MDP models, an algorithm is developed to learn the model and obtain an optimal task allocation policy that minimizes the expected average cost for each task cycle and maximizes the probability of satisfying linear temporal logic constraints. Moreover, this paper shows that the difference between the optimal policy based on the learned model and that based on the underlying ground truth model can be bounded by arbitrarily small constant and large confidence level with sufficient samples. The case study of an assembly process demonstrates the effectiveness and benefits of our proposed learning based human robot collaboration.

연구 동기 및 목표

• 지속적인 작업과 인간의 인지 상태 불확실성(신뢰도, 피로도 등)이 존재하는 인간-로봇 시스템에서 최적의 작업 할당 문제를 해결하기 위해.
• LTL 사양을 충족할 확률을 극대화하면서 평균 작업 사이클 당 비용을 최소화하는 프레임워크를 개발하기 위해.
• 인간의 신뢰도 및 피로도 모델에 대한 알려지지 않은 MDP 전이 확률을 효율적이고 정확도 보장된 방식으로 학습하기 위해.
• 학습된 모델에서 유도된 최적 정책이 진정한 기저 모델 하에서의 최적 정책과 증명 가능하게 가까워지도록 보장하기 위해.
• 실세계 조립 공정 사례 연구를 통해 프레임워크의 효과성을 입증하기 위해.

제안 방법

• 작업, 로봇, 인간의 피로도, 인간의 신뢰도 모델을 통합한 복합 MDP로 인간-로봇 시스템을 모델링한다.
• 인간의 인지 상태(신뢰도, 피로도)를 전이 확률이 알려지지 않을 수 있는 MDP로 표현한다.
• 높은 신뢰도와 오차가 제한된 상태에서 MDP 모델을 학습하기 위해 PAC-학습 기반 알고리즘을 사용한다.
• LTL 제약 조건 하에서 최적 제어기 합성 문제로 작업 할당 문제를 공식화한다.
• 학습된 모델을 기반으로 T-사이클 최적 정책을 ACPC(평균 사이클 당 비용) 최소화를 통해 계산한다.
• 학습된 정책과 진정한 최적 정책 간의 차이가 충분한 샘플 수가 확보될 경우 임의로 작은 상수로 유한하게 유지됨을 보여주는 이론적 경계를 수립한다.

실험 결과

연구 질문

• RQ1 전이 확률이 알려지지 않은 인간의 인지 상태 역학을 고려할 때, 학습 기반 접근 방식이 인간-로봇 시스템에서 최적의 작업 할당 정책을 효과적으로 합성할 수 있는가?
• RQ2 선형 시간 논리(LTL) 사양은 확률적 인간-로봇 협업 프레임워크에 어떻게 통합되어 장기적인 원하는 행동을 보장할 수 있는가?
• RQ3 학습된 MDP 모델에서 유도된 최적 정책과 진정한 최적 정책 간의 성능 격차는 얼마인가?
• RQ4 모르는 전이 확률이 존재하는 상황에서 학습 과정이 주어진 정확도 수준을 높은 신뢰도로 달성하도록 보장할 수 있는가?
• RQ5 지속적인 작업 수행과 인간의 인지 상태 변화가 발생하는 상황에서 제안된 프레임워크는 얼마나 체계적 성능를 유지하는가?

주요 결과

• 학습 알고리즘이 812,872개의 사이클을 사용해 206초 내에 MDP 모델을 성공적으로 확보하였으며, T-사이클 ACPC는 1.134를 기록했다.
• 무한 수명 주기의 최적 ACPC는 1.128이었으며, 이는 T-사이클 정책가 무한 수명 주기 최적 정책과 거의 동일함을 시사한다.
• 충분한 샘플 수가 확보될 경우, 학습된 정책과 진정한 최적 정책 간의 차이가 높은 신뢰도로 임의로 작은 상수로 유한하게 유지됨을 보여준다.
• 프레임워크는 무한히 종료 상태에 방문하고, 고장 난 로봇 상태에서 즉각 복구하는 LTL 사양을 충족함을 보장한다.
• 사례 연구를 통해 제안된 방법이 실제적인 조립 공정 환경에서 비용 최소화와 LTL 충족 간의 균형을 효과적으로 유지함을 입증했다.
• 이 방법은 인간 상태의 실시간 관측이 완벽하다는 가정을 내포하고 있으나, 향후 연구에서는 인지 상태 감지 기술의 발전을 통해 이를 완화하고자 한다.