[論文レビュー] Enabling Socially Competent navigation through incorporating HRI

Arturo Cruz-Maya, Fernando García+1 more|arXiv (Cornell University)|Apr 19, 2019

Video Surveillance and Tracking Methods参考文献 18被引用数 4

ひとこと要約

本論文では、人が道をふさぐ場合に社会的に適切な行動をとれるように、人間-ロ봇相互作用（HRI）をロボットナビゲーションに統合する新しいフレームワークを提示する。ROSナビゲーション、OpenCV、MobileNet SSDを組み合わせてリアルタイムで人の検出を実現し、ナビゲーションを一時停止して社会的状況を評価した後、再開前に音声による許可を求める。このアプローチにより、実空間の屋内環境において自然な人間-ロボット協働が実現された。

ABSTRACT

Over the last years, social robots have been deployed in public environments making evident the need of human-aware navigation capabilities. In this regard, the robotics community have made efforts to include proxemics or social conventions within the navigation approaches. Nevertheless, few works have tackled the problem of labelling humans as an interactive agent when blocking the robot motion trajectory. Current state of the art navigation planners will either propose an alternative path or freeze the motion until the path is free. We present the first prototype of a framework designed to enhance social competency of robots while navigating in indoor environments. The implementation is done using Navigation and Object Detection open-source software. Specifically, the Robot Operating System (ROS) navigation stack, and OpenCV with Caffe deep learning models and MobileNet Single Shot Detector (SSD), respectively.

研究の動機と目的

• ロボットが人の通行で遮られても、動的で混雑した公共環境において社会的配慮をもってナビゲートできる仕組みを提供すること。
• 遮られると凍結するか、あるいは人間との対話なしに経路を再計算する現行のナビゲーションプランナの限界を克服すること。
• 人間を対話的エージェントとして扱い、ナビゲーション中に対話ベースの許可要求を可能にする実用的システムの開発と実装を図ること。
• オープンソースのソフトウェアスタックを用いて、人型ロボット（Pepper）に社会的に適切なナビゲーションを実装・展開すること。
• 経路長と障害物までの距離の指標に基づき、必要に応じてHRIをトリガーする状況評価モジュールを導入すること。

提案手法

• コストマップと動的再設定を備えたROSナビゲーションスタックを用いて、グローバルおよびローカルな経路計画を実行する。
• 深度データおよびRGBデータからのリアルタイムな人物検出に、OpenCVとCaffe、およびMobileNet Single Shot Detector（SSD）を組み合わせる。
• レーザースキャンデータに対してMeanShiftクラスタリングを適用し、経路が遮られていた場合（距離 < 3m）に人間のクラスタを検出する。
• 経路が遮られると、新しい経路長を元の経路長と比較して、対話が必要かどうかを判断する状況評価モジュールを起動する。
• ナビゲーションを停止し、NAOqiアプリケーションを介して音声による対話を開始する。ただし、経路が遮られていた場合かつ新しい経路が元の経路よりも長い場合に限る。
• 経路が長期間遮られ続けた場合に備え、5秒のタイムアウトを設けて許可の再要請を実行し、凍結を回避する。

実験結果

リサーチクエスチョン

• RQ1 人が多くいる環境で、ロボットは遮られても社会的規範を尊重しながらどのようにナビゲートできるか？
• RQ2 ロボットのナビゲーションシステムにHRIを統合することで、経路を再計算するか凍結するのではなく、通過の許可を求めることが可能か？
• RQ3 自動的な経路再計画ではなく、社会的に適切な対話がトリガーされる条件は何か？
• RQ4 元の経路と新しい経路の長さの比較が、対話の有無または再計画の意思決定にどのように影響するか？
• RQ5 このようなシステムの実空間での展開が、計画されていない動的な状況においても、成功裏に人間-ロボット協働を実現できるか？

主な発見

• レーザースキャンのクラスタリングと人物検出を用いて、遮られていた経路を成功裏に検出。必要な場合にのみ対話をトリガーした。
• 実空間での試験では、ロボットがナビゲーションを一時停止し、遮られていた場合に音声による許可要求を開始した。その結果、自然な人間-ロボット協働が実現した。
• 予期しない結果として、ロボットの許可要求を聞きつけて、他の人が自発的に道を空ける行動を取った人がいた。これは、協働の自己発生的拡大を示している。
• 経路長の比較メカニズムにより、より短い経路が利用可能な場合には対話を回避でき、効率性が保たれた。
• 複数人の人がいる通路など、動的で複雑な屋内環境でも、社会的適応性を維持した。
• オフボード推論による性能の低下が見られたが、フレームワークは人型ロボット（Pepper）に成功裏に実装・テストされ、実空間での運用が可能となった。