[논문 리뷰] ShelfHelp: Empowering Humans to Perform Vision-Independent Manipulation Tasks with a Socially Assistive Robotic Cane

Shivendra Agrawal, Suresh Nayak외 2명|arXiv (Cornell University)|2024. 05. 30.

Robot Manipulation and Learning인용 수 1

한 줄 요약

ShelfHelp는 시각 기반 제품 탐지 기술과 두 가지 새로운 구두 명령 안내 계획자 기반으로, 빛을 의존하지 않는 쇼핑을 가능하게 하는 사회적 보조 로봇 지팡이이다. 이 시스템은 지도 시간과 명령 효율성에서 인간 수준의 성능을 달성하며, 두 계획자 모두 인간 기준 수준의 능력과 지능을 인식받고, 조밀한 촉각 공간에서의 망설임을 줄였다.

ABSTRACT

The ability to shop independently, especially in grocery stores, is important for maintaining a high quality of life. This can be particularly challenging for people with visual impairments (PVI). Stores carry thousands of products, with approximately 30,000 new products introduced each year in the US market alone, presenting a challenge even for modern computer vision solutions. Through this work, we present a proof-of-concept socially assistive robotic system we call ShelfHelp, and propose novel technical solutions for enhancing instrumented canes traditionally meant for navigation tasks with additional capability within the domain of shopping. ShelfHelp includes a novel visual product locator algorithm designed for use in grocery stores and a novel planner that autonomously issues verbal manipulation guidance commands to guide the user during product retrieval. Through a human subjects study, we show the system's success in locating and providing effective manipulation guidance to retrieve desired products with novice users. We compare two autonomous verbal guidance modes achieving comparable performance to a human assistance baseline and present encouraging findings that validate our system's efficiency and effectiveness and through positive subjective metrics including competence, intelligence, and ease of use.

연구 동기 및 목표

• 시각 장애를 가진 사람들(이하 PVI)이 인간의 도움에 의존할 경우의 독립성과 비밀 유지의 부족을 해결하기 위해.
• 촉각 공간 내에서 제품 밀도가 높고 환경적 위험이 있는 상황에서의 촉각 기반 제품 회수 과제를 해결하기 위해.
• 기존의 도구화된 지팡이의 기능을 탐색을 넘어서 세밀한 조작 안내 기능까지 확장하기 위해.
• 새로운 제품에 대한 재학습 없이 오프라인으로 작동할 수 있도록 하여 확장성과 실용성을 확보하기 위해.
• 초보자 사용자와 인간 기준을 대비하여 사용자 선호도와 시스템 효과성을 평가하기 위해 피LOT 연구를 수행하기 위해.

제안 방법

• 실시간 시각 센싱과 정위를 위해 로봇 지팡이에 RealSense D455와 T265 카메라를 장착하였다.
• 패키지의 시각적 특징과 의미 정보를 활용하여 대상 제품을 탐지하기 위한 이중 단계의 컴퓨터 비전 파이프라인을 구현하였다.
• 지도 시간과 명령 수를 최적화하기 위해, 새로운 마르코프 결정 과정(MDP) 기반 계획자를 설계하여 음성 조작 안내 명령을 생성하였다.
• 지속적(정기적인 '정지' 명령으로 확인을 받는 방식)과 이산적(정확하고 단계별로 이동 지시하는 방식)의 두 가지 다른 안내 모드를 개발하였다.
• 조작 안내를 위한 오디오 피드백과 탐색을 위한 촉각 피드백을 통합하여, 하나의 기기에서 이중 기능을 수행하도록 하였다.
• 두 계획자와 인간 가이드를 비교하기 위해 인간 대상 연구를 수행하여 성능, 사용성 및 주관적 지표를 평가하였다.

실험 결과

연구 질문

• RQ1 새로운 제품에 대한 재학습 없이도, 밀도가 높은 슈퍼마켓 환경에서 시각 기반 로봇 지팡이 시스템이 대상 제품을 효과적으로 탐지할 수 있는가?
• RQ2 지속적 vs. 이산적 구두 명령 안내 전략 간의 지도 시간, 명령 수, 사용자 인식에서의 비교는 어떠한가?
• RQ3 사용자가 느끼는 능력과 지능, 사용 편의성 측면에서 인간 가이드와의 성능 일치 정도는 어느 정도인가?
• RQ4 사용자들이 확인, 정밀도, 상호작용성 등의 계획자 특성에 대해 선호하는 바는 무엇인가?
• RQ5 지능적인 안내를 통해 촉각 공간 내에서 제품 회수의 정신적·신체적 부담을 줄일 수 있는가?

주요 결과

• 이산적 계획자는 인간 기준과 유사한 지도 시간과 명령 수를 기록하였으며, 성능에서 통계적으로 유의미한 차이가 없었다.
• 지속적 계획자와 이산적 계획자 모두 사용자 평가에서 높은 능력과 지능을 인정받았으며, 인간 가이드와의 평가에서 유의미한 차이가 없었다.
• 지속적 계획자는 '정지'와 같은 확인 명령을 제공하여 상호작용성 인식을 향상시켰지만, 정밀하고 모호하지 않은 지시를 원하는 사용자들은 이산적 계획자를 선호하였다.
• 시스템은 조밀한 촉각 공간 내에서의 망설임적인 촉각 탐색의 필요성을 크게 줄였으며, 제품 회수 효율성이 향상되었다.
• 참가자들은 사용 편의성, 자신감, 낮은 분노감을 보였으며, 정신적 및 시간적 부담이 낮아져 강한 사용성 잠재력을 보였다.
• 제품 탐지 시스템은 새로운 제품 도입 시 재학습 없이도 실시간으로 시각적 특징을 활용해 목표 품목을 성공적으로 식별하였다.