[논문 리뷰] Petri Net Machines for Human-Agent Interaction

Christian Dondrup, Ioannis Papaioannou외 1명|arXiv (Cornell University)|2019. 09. 13.

Context-Aware Activity Recognition Systems참고 문헌 22인용 수 6

한 줄 요약

이 논문은 인간-에이전트 상호작용 작업을 신뢰성 있고 동시적으로 실행할 수 있도록 보장하는 Petri Net Machines (PNMs)라는 형식적 프레임워크를 소개한다. Petri 넷을 사용하여 결정론적 유한 상태 기계를 구축함으로써, 상호작용의 순차적 실행, 자연어 상호작용, ROS 통합을 지원함을 입증하였다. 실제 프로토타입으로 피닉스 쇼핑몰에서의 실외 배치를 통해 로봇이 방향 안내를 하면서도 중단과 사회적 대화를 동시에 처리하는 데 성공하였다.

ABSTRACT

Smart speakers and robots become ever more prevalent in our daily lives. These agents are able to execute a wide range of tasks and actions and, therefore, need systems to control their execution. Current state-of-the-art such as (deep) reinforcement learning, however, requires vast amounts of data for training which is often hard to come by when interacting with humans. To overcome this issue, most systems still rely on Finite State Machines. We introduce Petri Net Machines which present a formal definition for state machines based on Petri Nets that are able to execute concurrent actions reliably, execute and interleave several plans at the same time, and provide an easy to use modelling language. We show their workings based on the example of Human-Robot Interaction in a shopping mall.

연구 동기 및 목표

• 복잡하고 동시적인 인간-에이전트 상호작용을 모델링하는 데 있어 전통적인 유한 상태 기계(FSMs)의 한계를 해결한다.
• 강화 학습에서 요구하는 데이터 집약적인 학습 요구사항을 극복하기 위해 지식 기반의 전문가 주석 기반 대안을 제공한다.
• 사회적 로봇에서 물리적 동작(예: 손가락으로 가리키기, 말하기, 이해도 확인하기)과 대화 동작을 병행 실행할 수 있도록 신뢰성 있는 실행을 가능하게 한다.
• 병행 처리, 루프, 복구 동작을 지원하는 형식적이고 검증 가능하며 확장 가능한 상태 기계 모델링 언어를 제공한다.
• ROS 및 액션 서버와의 네이티브 호환성을 확보하여 SMACH 및 유사 프레임워크에 대한 실용적인 대안을 제공한다.

제안 방법

• 행동, 전제 조건, 영향을 정의하기 위해 YAML 기반 도메인 특화 마크업 언어와 PDDL 스타일 문법을 사용하여 상호작용 로직을 모델링한다.
• 형식적 Petri 넷 기반 실행 엔진을 구현하여 도달 불가능한 상태가 없음을 보장하고, 여러 Petri Net Machines(PNMs)의 동시 실행을 지원한다.
• ROS 액션 서버와 통합하여 실행 중에 로봇 시스템 및 외부 지식 기반 시스템과 원활한 상호작용을 가능하게 한다.
• 행동의 전제 조건과 후행 조건을 바탕으로 자동으로 복구 동작과 점검을 생성하여 실행의 안정성을 향상시킨다.
• 작업 중단 및 재개를 지원하여 대화나 새로운 작업이 진행 중인 물리적 작업과 병행될 수 있도록 한다.
• 하이브리드 실행 모델을 사용하여 사회적 대화는 외부 시스템에서 관리하고, 물리적 작업 실행은 PNM이 조율한다.

실험 결과

연구 질문

• RQ1 Petri Net Machines는 인간-로봇 상호작용에서 물리적 동작과 대화 동작을 동시에 신뢰성 있게 모델링하고 실행할 수 있는가?
• RQ2 특히 사회적 대화를 병행할 때, PNMs는 인간-에이전트 상호작용 중 작업 중단 및 재개를 얼마나 효과적으로 처리할 수 있는가?
• RQ3 기존의 FSM 기반 시스템인 SMACH에 비해 PNM 프레임워크는 표현력, 병행 처리, 유지보수성 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 PNM의 모델링 언어는 저수준 프로그래밍 전문 지식 없이도 효과적으로 사용될 수 있는가? 비전문 개발자도 복잡한 상호작용 행동을 구축할 수 있는가?
• RQ5 이 시스템은 공공 쇼핑몰과 같은 실외의 통제되지 않은 환경에서 어떻게 작동하는가?

주요 결과

• 모든 5건의 고객 상호작용 및 개발자 테스트에서, 시스템은 중단 후 올바르게 목적 작업을 재개하여 신뢰성 있는 작업 재개 능력을 입증하였다.
• 경로 안내 중에 언어적 설명, 손가락으로 가리키기, 눈길을 주는 동작 등 병행 동작을 성공적으로 조율하여 시간적 및 의미적 일관성을 유지하였다.
• PNM 프레임워크는 물리적 작업(예: 길 안내)과 대화 작업(예: 좋아하는 책 논의)을 원활하게 병행할 수 있었으며, 작업 상태 손실 없이 작동하였다.
• 행동의 전제 조건과 영향을 바탕으로 시스템이 자동으로 복구 동작을 생성하여 수동 코드 작성 없이도 실행 안정성을 향상시켰다.
• YAML 기반 마크업 언어의 사용으로, 깊은 프로그래밍 전문 지식 없이도 직관적이고 인간이 읽을 수 있는 상태 기계 기술이 가능했다.
• 핀란드 쇼핑몰에서 5일간의 관찰적 배치 데이터는 PNM이 실생활 조건에서 정확하게 작업을 수행함을 확인하였으며, 사용자 유도 중단과 동적 입력에도 불구하고 안정적으로 작동하였다.