[논문 리뷰] Plan Explicability and Predictability for Robot Task Planning

Yu Zhang, Sarath Sreedharan외 4명|arXiv (Cornell University)|2015. 11. 25.

AI-based Problem Solving and Planning참고 문헌 27인용 수 23

한 줄 요약

이 논문은 인간의 이해와 신뢰를 향상시키기 위해 로봇 작업 계획에서 계획의 명확성과 예측 가능성을 측정 지표로 도입한다. 조건부 랜덤 필드(CRFs)를 사용하여 인간이 행동을 추상적 작업으로 레이블링하는 패턴을 학습함으로써, 로봇이 인간에게 더 이해하기 쉽고 예측 가능한 계획을 생성할 수 있도록 한다. 평가 결과, 표준 계획기 대비 명확성 측정 지표에서 25% 향상되고, 인간 평가 점수도 유의미하게 높아졌다.

ABSTRACT

Intelligent robots and machines are becoming pervasive in human populated environments. A desirable capability of these agents is to respond to goal-oriented commands by autonomously constructing task plans. However, such autonomy can add significant cognitive load and potentially introduce safety risks to humans when agents behave unexpectedly. Hence, for such agents to be helpful, one important requirement is for them to synthesize plans that can be easily understood by humans. While there exists previous work that studied socially acceptable robots that interact with humans in "natural ways", and work that investigated legible motion planning, there lacks a general solution for high level task planning. To address this issue, we introduce the notions of plan {\it explicability} and {\it predictability}. To compute these measures, first, we postulate that humans understand agent plans by associating abstract tasks with agent actions, which can be considered as a labeling process. We learn the labeling scheme of humans for agent plans from training examples using conditional random fields (CRFs). Then, we use the learned model to label a new plan to compute its explicability and predictability. These measures can be used by agents to proactively choose or directly synthesize plans that are more explicable and predictable to humans. We provide evaluations on a synthetic domain and with human subjects using physical robots to show the effectiveness of our approach

연구 동기 및 목표

• 인간이 이해할 수 있는 일반적인 고수준 작업 계획 솔루션의 부족을 해결하기 위해.
• 인간 거주 환경에서 이해하기 어려운 로봇 행동으로 인한 인지적 부담과 안전 위험을 줄이기 위해.
• 작업-행동 레이블링을 통해 인간이 로봇 계획을 어떻게 해석하는지 모델링함으로써, 더 명확하고 예측 가능한 계획을 생성할 수 있도록 하기 위해.
• 사전에 인간의 정신 모델에 대한 지식 없이도 인간이 로봇 행동을 어떻게 이해하는지 추론하는 기반 학습 기법을 개발하기 위해.
• 모의 실험과 실제 인간 대상 실험(물리적 로봇을 활용)을 통해 접근을 실증적으로 평가하여 계획의 명확성을 향상시키기 위해.

제안 방법

• 논문은 인간이 로봇 계획을 이해하는 방식을 레이블링 과정으로 모델링하며, 행동이 추상적 작업(예: '컵을 집기')과 연결됨을 가정한다.
• 조건부 랜덤 필드(CRFs)는 인간이 레이블링한 예시를 기반으로 학습되어 행동을 작업으로 매핑하는 인간의 레이블링 체계를 학습한다.
• 계획의 명확성은 학습된 CRF 모델을 사용해 의미 있는 작업으로 성공적으로 레이블링된 행동의 비율로 계산된다.
• 예측 가능성은 작업 전이의 순차적 일관성으로 측정되며, 이는 이전 작업들로부터 다음 작업을 얼마나 쉽게 예측할 수 있는지를 반영한다.
• 이 프레임워크는 명확성과 예측 가능성을 계획 과정에 통합하여, 계획기가 더 이해하기 쉬운 계획을 우선순위로 삼을 수 있도록 한다.
• 이 접근법은 합성 시뮬레이션과 실제 인간 실험(물리적 로봇을 활용)을 모두 사용하여 평가되었으며, 영상 기반 레이블링과 주관적 평가 점수를 활용하였다.

실험 결과

연구 질문

• RQ1 인간이 로봇 작업 계획을 이해하는 방식을 반영할 수 있는가를 고려해 계획의 명확성과 예측 가능성을 정의하고 측정할 수 있는가?
• RQ2 사전에 인간의 정신 모델을 알지 못한 채 인간이 행동을 추상적 작업과 연결하는 방식의 레이블링 체계를 어떻게 학습할 수 있는가?
• RQ3 로봇이 계획 품질을 유지하면서도 인간에게 훨씬 더 명확하고 예측 가능한 계획을 생성할 수 있는가?
• RQ4 인간 참가자들이 명확성 인식 기반 계획으로 생성된 계획을 표준 계획보다 훨씬 더 선호하는가?
• RQ5 제안된 명확성 측정 지표가 인간의 주관적 계획 이해도 평가와 상관관계가 있는가?

주요 결과

• FF-EXPD 계획기는 OPT 계획기 대비 97.3%의 명확한 행동을 기록하여 행동-작업 레이블링 측면에서 상당한 향상을 보였다.
• FF-EXPD의 평균 명확성 점수는 0.98이었으며, 이는 OPT의 0.78보다 유의미하게 높았으며, 대응 t-검정에서 p값 < 0.001이었다.
• 인간 참가자들은 FF-EXPD 계획에 대해 평균 9.65점(10점 만점)을 주었고, OPT는 6.92점으로, 강한 주관적 선호도를 보였다.
• FF-EXPD와 OPT의 Cronbach’s α 값이 각각 0.78과 0.67이었으며, 인간의 레이블링과 평가의 내적 일관성이 높음을 나타냈다.
• 결과적으로 제안된 명확성 측정 지표가 인간의 해석과 주관적 이해도와 잘 일치함을 확인하였다.
• 다양한 타워 높이를 가진 8개의 테스트 시나리오에서 제안된 방법이 새로운 문제에 대해 효과적으로 일반화됨을 입증하였다.