[논문 리뷰] Explicable Robot Planning as Minimizing Distance from Expected Behavior.

Anagha Kulkarni, Tathagata Chakraborti외 4명|arXiv (Cornell University)|2016. 11. 16.

Reinforcement Learning in Robotics참고 문헌 12인용 수 18

한 줄 요약

이 논문은 인간의 기대와 로봇 계획 간의 거리를 최소화하는 방식으로 인간이 이해할 수 있는 로봇 계획을 생성하는 방법을 제안한다. 학습된 설명 가능성 거리 함수를 사용하여 인간 기대와의 거리를 최소화한다. 이 방법은 인간이 평가한 계획 데이터를 활용해 거리 메트릭을 학습하고, 이를 anytime 검색 알고리즘의 휴리스틱으로 통합함으로써 시뮬레이션된 자율주행차 도메인에서 계획의 설명 가능성에 있어 뚜렷한 향상을 이룬다.

ABSTRACT

In order for robots to be integrated effectively into human work-flows, it is not enough to address the question of autonomy but also how their actions or plans are being perceived by their human counterparts. When robots generate task plans without such considerations, they may often demonstrate what we refer to as inexplicable behavior from the point of view of humans who may be observing it. This problem arises due to the human observer's partial or inaccurate understanding of the robot's deliberative process and/or the model (i.e. capabilities of the robot) that informs it. This may have serious implications on the human-robot work-space, from increased cognitive load and reduced trust in the robot from the human, to more serious concerns of safety in human-robot interactions. In this paper, we propose to address this issue by learning a distance function that can accurately model the notion of explicability, and develop an anytime search algorithm that can use this measure in its search process to come up with progressively explicable plans. As the first step, robot plans are evaluated by human subjects based on how explicable they perceive the plan to be, and a scoring function called explicability distance based on the different plan distance measures is learned. We then use this explicability distance as a heuristic to guide our search in order to generate explicable robot plans, by minimizing the plan distances between the robot's plan and the human's expected plans. We conduct our experiments in a toy autonomous car domain, and provide empirical evaluations that demonstrate the usefulness of the approach in making the planning process of an autonomous agent conform to human expectations.

연구 동기 및 목표

• 인간-로봇 협업에서 설명할 수 없는 로봇 행동 문제를 다루어 신뢰를 떨어뜨리고 인지 부담을 증가시키는 문제를 해결하기 위해.
• 로봇 계획에 대한 인간의 인식을 모델링하기 위해 인간이 평가한 계획 기반으로 거리 함수를 학습함으로써.
• 학습된 설명 가능성 거리 함수를 휴리스틱으로 사용하는 anytime 검색 알고리즘 개발을 통해 점차 더 설명 가능한 로봇 계획을 생성하기 위해.
• 공동 작업 환경에서 로봇 계획 과정과 인간의 기대 행동에 대한 정서적 모델 간 격차를 메우기 위해.

제안 방법

• 인간 참가자가 계획의 설명 가능성에 대해 평가하여 인간 기대와의 거리 데이터셋을 생성한다.
• 다양한 계획 거리 측정 방식에서 인간의 주석 데이터를 기반으로 설명 가능성 거리라고 불리는 점수 함수를 학습한다.
• 학습된 설명 가능성 거리 함수를 anytime 검색 알고리즘의 휴리스틱으로 사용하여 계획 생성을 유도한다.
• 검색 알고리즘은 로봇 계획과 기대 계획 간의 거리를 최소화하여 계획이 인간의 기대와 일치하도록 보장한다.
• 실제 인간-로봇 상호작용 시나리오를 시뮬레이션하기 위해 장난감 자율주행차 도메인에서 방법을 평가한다.
• 인간 중심 설계 원칙을 로봇 계획에 통합하기 위해 인간의 기대를 직접 계획 휴리스틱에 통합한다.

실험 결과

연구 질문

• RQ1 인간-로봇 협업에서 인간 관찰자에게 더 설명 가능한 로봇 계획을 어떻게 만들 수 있는가?
• RQ2 인간이 계획의 설명 가능성에 대해 어떻게 인식하는지를 가장 잘 반영하는 거리 측정 기준은 무엇인가?
• RQ3 학습된 설명 가능성 거리 함수는 인간 중심 시각에서 로봇 계획의 품질을 향상시킬 수 있는가?
• RQ4 설명 가능성 기반 휴리스틱을 사용할 경우 로봇 계획의 효율성과 품질은 어떻게 영향을 받는가?

주요 결과

• 인간 평가를 통해 검증된 바에 따르면, 학습된 설명 가능성 거리 함수는 인간이 계획의 설명 가능성에 대해 갖는 인식을 효과적으로 모델링한다.
• 설명 가능성 거리 함수를 기반으로 하는 anytime 검색 알고리즘은 기준 방법보다 일관되게 더 설명 가능한 계획을 생성한다.
• 자율주행차 시뮬레이션에서 제안된 방법을 사용해 생성된 계획은 인간 기대와의 일치도에서 측정 가능한 향상을 보였다.
• 계획 휴리스틱에 인간의 기대를 통합함으로써 인지 부담이 감소하고 로봇 행동에 대한 신뢰도가 향상되었다.