[論文レビュー] ShelfHelp: Empowering Humans to Perform Vision-Independent Manipulation Tasks with a Socially Assistive Robotic Cane

Shivendra Agrawal, Suresh Nayak+2 more|arXiv (Cornell University)|May 30, 2024

Robot Manipulation and Learning被引用数 1

ひとこと要約

ShelfHelpは、視覚に依存しない買い物を可能にする社会的支援型ロボットキャンディであり、コンピュータビジョンベースの製品検索と2つの新しい音声操作誘導プランナーを組み合わせたものである。本システムは、ガイド時間とコマンド効率において人間並みの性能を達成しており、両方のプランナーが人間の基準と同等の実行能力と知能の認識を得ており、密集したタクトイル空間における徹底的な探索を削減している。

ABSTRACT

The ability to shop independently, especially in grocery stores, is important for maintaining a high quality of life. This can be particularly challenging for people with visual impairments (PVI). Stores carry thousands of products, with approximately 30,000 new products introduced each year in the US market alone, presenting a challenge even for modern computer vision solutions. Through this work, we present a proof-of-concept socially assistive robotic system we call ShelfHelp, and propose novel technical solutions for enhancing instrumented canes traditionally meant for navigation tasks with additional capability within the domain of shopping. ShelfHelp includes a novel visual product locator algorithm designed for use in grocery stores and a novel planner that autonomously issues verbal manipulation guidance commands to guide the user during product retrieval. Through a human subjects study, we show the system's success in locating and providing effective manipulation guidance to retrieve desired products with novice users. We compare two autonomous verbal guidance modes achieving comparable performance to a human assistance baseline and present encouraging findings that validate our system's efficiency and effectiveness and through positive subjective metrics including competence, intelligence, and ease of use.

研究の動機と目的

• 視覚障害者（PVI）が人間の支援に依存する際の自立性とプライバシーの欠如に対処すること。
• タクトイル空間における製品密度の高さと環境的危険要因の影響により、タクトイルベースの製品回収が困難になる課題を克服すること。
• ナビゲーションを超えて、製品回収のための詳細な操作誘導を提供するインストルメンテッドキャンディの機能を拡張すること。
• 再トレーニングを必要とせずオフラインで動作するシステムを構築し、スケーラビリティと実用性を確保すること。
• 初心者ユーザーと人間のガイドを比較するパイロットスタディを通じて、ユーザーの好みとシステムの有効性を評価すること。

提案手法

• リアルセンス D455 および T265 カメラをロボットキャンディに搭載し、リアルタイムの視覚的センシングと局所化を実現した。
• 視覚的特徴とパッケージの意味的情報から、ターゲット製品を検出する2段階のコンピュータビジョンパイプラインを実装した。
• ガイド時間とコマンド数の最適化を図るための、新しいマルコフ決定過程（MDP）ベースのプランナーを設計した。
• 連続的（定期的な「ストップ」コマンドによる確認付き）と離散的（正確で段階的な移動指示）の2つの異なる誘導モードを考案した。
• 操作誘導用の音声フィードバックとナビゲーション用のタクトイルフィードバックを統合し、1台のデバイスで二重の機能を実現した。
• 2つのプランナーと人間のガイドを比較する人間被験者スタディを実施し、パフォーマンス、使いやすさ、主観的指標を評価した。

実験結果

リサーチクエスチョン

• RQ1 再トレーニングを必要とせず、密集した食料品店環境においても視覚ベースのロボットキャンディシステムが、ターゲット製品を効果的に特定できるか？
• RQ2 連続的と離散的の異なる音声操作誘導戦略は、ガイド時間、コマンド数、およびユーザーの認識において、どのように比較されるか？
• RQ3 人間のガイドと比較して、システムのパフォーマンスがどれほど実行能力、知能、使いやすさの認識において同等であるか？
• RQ4 ユーザーは、確認、正確性、相互作用性といったプランナーの特性に関して、どのような好みを示すか？
• RQ5 知的な誘導によって、タクトイル空間における製品回収の認知的および身体的負担をどれほど軽減できるか？

主な発見

• 離散的プランナーは、人間の基準と同等のガイド時間とコマンド数を達成しており、パフォーマンスに有意差は認められなかった。
• 連続的および離散的プランナーの両方が、ユーザーから高い実行能力と知能の認識を得ており、人間のガイドと比較してこれらの指標に有意差は認められなかった。
• 連続的プランナーは「ストップ」などの確認を提供することで、相互作用性の認識が向上したが、正確で曖昧でない指示を求めるユーザーは離散的プランナーを好んだ。
• 本システムは、密集したタクトイル空間における徹底的なタッチ探索の必要性を顕著に低減し、回収効率を向上させた。
• 参加者らは、使いやすさ、自信、低ストレスを報告しており、認知的および時間的負担が低く抑えられ、高い使いやすさが示された。
• 製品検出システムは、新製品の導入時にも再トレーニングを必要とせず、視覚的特徴を用いてリアルタイムでターゲット商品を正確に特定できた。