[논문 리뷰] Using Social Cues to Recognize Task Failures for HRI: Overview, State-of-the-Art, and Future Directions

Alexandra Bremers, Alexandria Pabst외 2명|arXiv (Cornell University)|2023. 01. 27.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 행동과학, 인간-로봇 상호작용(HRI), 기계학습의 통찰을 바탕으로 로봇이 보조자들의 사회적 신호—예를 들어 얼굴 표정과 제스처—를 해석하여 물리적 작업 실패를 감지할 수 있는 프레임워크를 제안한다. 자기 인식과 사회적 피드백을 기반으로 한 오류 감지의 분류 체계를 도입하며, 주요 기술적 및 데이터 과제를 규명하고, 자율적이고 사회적으로 인지하는 오류 인식 기술의 발전을 위해 공개된 데이터셋의 필요성을 주장한다.

ABSTRACT

Robots that carry out tasks and interact in complex environments will inevitably commit errors. Error detection is thus an essential ability for robots to master to work efficiently and productively. People can leverage social feedback to get an indication of whether an action was successful or not. With advances in computing and artificial intelligence (AI), it is increasingly possible for robots to achieve a similar capability of collecting social feedback. In this work, we take this one step further and propose a framework for how social cues can be used as feedback signals to recognize task failures for human-robot interaction (HRI). Our proposed framework sets out a research agenda based on insights from the literature on behavioral science, human-robot interaction, and machine learning to focus on three areas: 1) social cues as feedback (from behavioral science), 2) recognizing task failures in robots (from HRI), and 3) approaches for autonomous detection of HRI task failures based on social cues (from machine learning). We propose a taxonomy of error detection based on self-awareness and social feedback. Finally, we provide recommendations for HRI researchers and practitioners interested in developing robots that detect task errors using human social cues. This article is intended for interdisciplinary HRI researchers and practitioners, where the third theme of our analysis provides more technical details aiming toward the practical implementation of these systems.

연구 동기 및 목표

• 로봇의 작업 실패를 실시간으로 감지하기 위해 보조자들의 사회적 신호를 피드백으로 활용하는 로봇 오류 감지 시스템을 개발하는 것.
• 행동과학, HRI, 기계학습 간의 격차를 보완하기 위해 사회적 신호 해석에 관한 다학제적 통찰을 통합하는 것.
• 현재 HRI 시스템에서의 연구 격차, 특히 로봇 실패에 대한 반응을 촬영한 레이블이 부여된 공개 데이터셋의 부족을 규명하는 것.
• 다양한 환경에서 사회적 신호 기반의 오류 감지에 효과적인 다중모달 기계학습 모델을 구축하는 데에 전문가들을 안내하는 것.
• 로봇 실패에 대한 인간의 반응을 촬영한 데이터셋을 공개하여 연구 속도를 가속화하고 모델의 일반화 능력을 향상시키기 위한 주장

제안 방법

• 비언어적 의사소통에 관한 행동과학 연구 결과를 통합하여 오류 피드백에 적합한 사회적 신호를 정의한다.
• 로봇 실패에 대한 인간의 반응을 분석한 HRI 연구를 검토하며, 시선, 얼굴 표정, 제스처와 같은 관찰 가능한 행동에 집중한다.
• 특히 딥러닝과 강화학습을 포함한 기계학습 기법을 분석하여 보조자 반응을 작업 실패의 지표로 분류하는 데 활용한다.
• 자기 인식과 사회적 피드백을 기반으로 한 오류 감지의 분류 체계를 제안하여 실패 인식 전략을 체계적으로 분류할 수 있도록 한다.
• 실제 HRI 환경에서의 강건성을 향상시키기 위해 시각, 청각, 운동 데이터 등의 다중모달 데이터 융합을 강조한다.
• 성능 평가 및 레이블 신뢰도 평가를 위해 균형 정확도와 코헨의 카파와 같은 지표를 사용하여 최신 기준 모델과의 벤치마킹을 권장한다.

Figure 1. Schematic overview of interaction intelligence for task failure detection through bystander response. A failure occurs (left), leading to a human reaction (center), which is used as data input for failure prediction from the robot (right). Detection of failure is an important first step fo

실험 결과

연구 질문

• RQ1 행동과학에서 보조자 얼굴 표정으로부터 오류 인식은 어떻게 정의되는가?
• RQ2 현재 인간-로봇 상호작용 연구 분야에서 오류 인식 및 사회적 신호 처리의 최신 기술 수준는 어떠한가? 주요 연구 격차는 무엇인가?
• RQ3 보조자 표정을 활용해 HRI에서 작업 실패를 감지하기 위한 최신 알고리즘 도구와 데이터셋은 무엇이 있는가?
• RQ4 연령, 성별, 로봇 외형 등의 인구통계학적 및 인체형태적 요인이 로봇 실패에 대한 인간의 반응에 어떤 영향을 미치는가?
• RQ5 강화학습과 다중모달 데이터 통합은 사회적 신호로부터 자율적 오류 감지 능력을 향상시키는 데 어떤 역할을 할 수 있는가?

주요 결과

• 특히 비언어적 신호인 얼굴 표정과 시선과 같은 보조자 반응은 다양한 환경에서도 신뢰할 수 있고 일반화 가능한 로봇 작업 실패의 지표로 기능한다.
• 현재 HRI 연구 결과에 따르면 사람들이 자동으로 사회적 신호를 해석하여 오류를 감지하는 것으로 나타나, 로봇은 정서 컴퓨팅과 컴퓨터 비전 기술을 활용해 이 능력을 모방할 수 있다.
• 진전이 있었음에도 불구하고, 로봇 실패에 대한 인간의 반응을 촬영한 레이블이 부여된 공개 데이터셋이 극도로 부족하여 모델 개발과 벤치마킹에 제약이 있다.
• 시각, 청각, 운동 데이터를 융합하는 다중모달 접근 방식은 단일모달 시스템보다 더 높은 실패 감지 능력을 보이며 잠재력이 크다.
• 불균형하거나 노이즈가 많은 실생활 데이터 환경에서 모델 평가에 있어 균형 정확도와 코헨의 카파와 같은 성능 지표는 필수적이다.
• 강화학습은 특히 작업 실패가 예상되거나 빈번하게 발생하는 환경에서 직접 상호작용을 통해 학습할 수 있는 유망한 길을 제공한다.

Figure 2. Number of published papers over time using search criteria for Section 3 (Theme 1). Citation Report graphic is derived from Clarivate Web of Science , Copyright Clarivate 2022. All rights reserved.