[論文レビュー] Setting Up Pepper For Autonomous Navigation And Personalized Interaction With Users

Vittorio Perera, Tiago Pereira+2 more|arXiv (Cornell University)|Apr 16, 2017

Speech and dialogue systems参考文献 1被引用数 16

ひとこと要約

本論文では、ROSを用いたリアルタイムの局所化とナビゲーションと、クラウドベースの音声認識および顔認識サービスを統合することで、ペッパー・ロボットの自律性とパーソナライズされた対話性能を向上させる統合ソフトウェアアーキテクチャを提示する。このシステムにより、ペッパーは環境を自律的にナビゲートし、顔認識を用いて信頼できるユーザーを識別し、音声、タブレット入力、LEDフィードバックを組み合わせたマルチモーダルインターフェースを通じて音声コマンドに応答できるようになる。実世界のヒューマンロボットインタラクションのシナリオにおいて、高い性能を示している。

ABSTRACT

In this paper we present our work with the Pepper robot, a service robot from SoftBank Robotics. We had two main goals in this work: improving the autonomy of this robot by increasing its awareness of the environment; and enhance the robot ability to interact with its users. To achieve this goals, we used ROS, a modern open-source framework for developing robotics software, to provide Pepper with state of the art localization and navigation capabilities. Furthermore, we contribute an architecture for effective human interaction based on cloud services. Our architecture improves Pepper speech recognition capabilities by connecting it to the IBM Bluemix Speech Recognition service and enable the robot to recognize its user via an in-house face recognition web-service. We show examples of our successful integration of ROS and IBM services with Pepper's own software. As a result, we were able to make Pepper move autonomously in a environment with humans and obstacles. We were also able to have Pepper execute spoken commands from known users as well as newly introduced users that were enrolled in the robot list of trusted users via a multi-modal interface.

研究の動機と目的

• ROSベースのSLAMおよび局所化を用いて、ペッパー・ロボットの環境認識能力とナビゲーション自律性を向上させる。
• 顔認識およびユーザー登録を用いて、既知および新規ユーザーを識別することで、パーソナライズされたヒューマンロボットインタラクションを実現する。
• 音声認識の遅延を低減し、耐障害性を向上させるために、音声をクラウドASRサービスにストリーミング送信しつつ、リアルタイムの応答性を維持する。
• タブレット、LED、タクトイルセンサーを用いたマルチモーダルフィードバックを統合し、透明性とユーザーの関与度を向上させる。
• ROS、NAOqi、クラウドサービスを統合したエンドツーエンドの完全統合システムを実装し、スケーラブルでパーソナライズされたロボットインタラクションを実現する。

提案手法

• ASUS Xtion 3Dセンサとレーザー距離計データを用いて、リアルタイムの局所化、マッピング、自律ナビゲーションを実現するため、ROS Indigoをペッパーの特許取得済みNAOqiフレームワークと統合した。
• ペッパーの胸にあるタブレットにローカルWebサーバーをデプロイし、AJAXおよびTCPバックチャネル通信を用いて、リアルタイムのテキストキャプション表示と入力収集を可能にする動的Webページをホスティングした。
• マイクアレイをIBM Bluemix音声認識サービスに接続し、特に未知語彙の単語に対する音声理解の精度を向上させた。
• ユーザーの顔を保存・照合するカスタム顔認識Webサービスを構築し、タブレットによる名前入力と画像撮影を用いたユーザー登録を可能にした。
• 特に目と肩のLEDを用いて、音声認識中のリスニング状態やロボットの状態を示すことで、非言語的コミュニケーションを向上させた。
• 音声、タブレット入力、タッチを並列で使用するマルチモーダルインタラクションパイプラインを設計し、信頼性とユーザーの透明性を向上させた。

実験結果

リサーチクエスチョン

• RQ1 ROSはペッパーのNAOqiフレームワークと効果的に統合可能であり、安定したリアルタイムの自律ナビゲーションを実現できるか？
• RQ2 クラウドベースの音声認識は、移動型ロボットにおけるヒューマンロボットインタラクションの精度を向上させるとともに、遅延を低減できるか？
• RQ3 タブレットを用いた顔認識およびユーザー登録は、サービスロボットにおけるパーソナライズ化とアクセス制御をどの程度向上できるか？
• RQ4 マルチモーダルインターフェース（音声、タブレット、LED）は、ユーザーがロボットの状態やインタラクションの信頼性をどのように認識するかにどのように寄与するか？
• RQ5 ローカルのROS処理とリモートのクラウドサービスを組み合わせたハイブリッドアーキテクチャは、実環境において低遅延かつ高精度なインタラクションを達成できるか？

主な発見

• ROS IndigoとペッパーのNAOqiフレームワークの統合により、SLAMおよびマップベースの経路計画を用いて、安定したリアルタイムの局所化とナビゲーションが実現された。
• クラウドベースのASRパイプラインのおかげで、騒音環境下でも信頼できるユーザーからの音声コマンドを高精度で認識・応答できた。
• 顔認識システムは、信頼できるユーザーを正しく識別し、不正アクセスを防止した。新規ユーザーはタブレットによる名前入力と画像撮影で登録された。
• タブレットベースの入力メカニズムにより、未知語彙の名前の音声認識失敗を効果的に補い、ユーザーがコマンドを打ち込めるようにした。
• タブレット上に動的Webページを用いてリアルタイムのキャプション表示とステータスフィードバックを提供したことで、ユーザーがロボットの状態や処理状況をより明確に把握できるようになった。
• 音声、タッチ、LED、タブレットを統合したマルチモーダルインターフェースにより、実際のデモ（中学生の訪問者を対象に）で検証されたように、より透明性が高く信頼性の高いインタラクション体験が実現された。