[論文レビュー] Projection Mapping Implementation: Enabling Direct Externalization of Perception Results and Action Intent to Improve Robot Explainability

Han Zhao, Alexander S. Wilkinson+3 more|arXiv (Cornell University)|Oct 5, 2020

Social Robot Interaction and HRI参考文献 21被引用数 5

ひとこと要約

本論文では、市販のプロジェクタを用いて、検出された物体や操作対象といった認識結果や行動意図を、現実の表面に可視化することで、ロボットが直接的に認識結果や意図を外部化できるROSベースのプロジェクションマッピングシステムを提示する。Rviz内の仮想カメラをプロジェクタの姿勢と内部パラメータ（焦点距離、歪み）と同期させることで、正確で目立つ、曇りのない視覚的ヒントを生成し、曇った非言語的ヒントやディスプレイに依存せずに、人間とロボットの協働を向上させる。

ABSTRACT

Existing research on non-verbal cues, e.g., eye gaze or arm movement, may not accurately present a robot's internal states such as perception results and action intent. Projecting the states directly onto a robot's operating environment has the advantages of being direct, accurate, and more salient, eliminating mental inference about the robot's intention. However, there is a lack of tools for projection mapping in robotics, compared to established motion planning libraries (e.g., MoveIt). In this paper, we detail the implementation of projection mapping to enable researchers and practitioners to push the boundaries for better interaction between robots and humans. We also provide practical documentation and code for a sample manipulation projection mapping on GitHub: https://github.com/uml-robotics/projection_mapping.

研究の動機と目的

• プロジェクションマッピングにおける利用可能なツールの不足が、ロボットの状態を直接外部化する研究を妨げているという問題に対処すること。
• 曇った非言語的ヒント（例：視線、指差し）の代わりに、現実の物体に直接的で目立つ視覚的投影を用いることで、ロボットの説明可能性を向上させること。
• 市販のハードウェアとROS統合を活用し、カスタム開発を最小限に抑えて、研究者や実務家がプロジェクションマッピングを実装・研究できるようにすること。
• 認識結果と意図の正確でリアルタイムの視覚フィードバックを提供することで、人間-ロボット協働における精神的推論や誤解を軽減すること。
• 認識出力（例：点群、インタラクティブマーカー）を物理的環境に直接投影できる、ロボットに依存しないオープンソースの実装を提供すること。

提案手法

• 本システムは、実際のプロジェクタの姿勢と内部パラメータ（焦点距離、歪み）を模倣するRviz内の仮想カメラを使用しており、プロジェクタと同一のシーンを「見ること」を可能にする。
• 仮想カメラはプロジェクタのCameraInfoメッセージを購読することで、仮想と実際の投影の光学的一致性を保証する。
• Rvizで可視化された認識データ（例：点群、ナビゲーションマップ、インタラクティブマーカー）は、仮想カメラの視点からレンダリングされ、プロジェクタにストリーミングされる。
• 投影画像はROSのimage_viewパッケージを介して出力され、HDMI経由でプロジェクタにフルスクリーンモードで送信される。
• カスタムのハードウェアマウントおよびタービンユニットにより、ロボット（例：Fetch）上でのプロジェクタの動的パンとチルトが可能であり、正確な姿勢の整合性が維持される。
• 本システムはロボットに依存しない：プロジェクタはロボットと同一位置にある必要があり、ロボットのTFツリーに定義された変換フレームがあれば十分で、物理的に接続されていなくてもよい。

実験結果

リサーチクエスチョン

• RQ1 プロジェクションマッピングは、従来の非言語的ヒントよりも直接的で曇りのない方法で、ロボットの認識結果や行動意図を外部化するのに有効であるか？
• RQ2 スクリーンベースのディスプレイと比較して、現実の物体に認識データを直接投影することで、人間-ロボット協働におけるユーザーのパフォーマンスと理解度にどのような差が生じるか？
• RQ3 プロジェクションマッピングは、人間-ロボットインタラクションにおける精神的推論や確認の必要性をどの程度軽減するか？
• RQ4 低価格の市販プロジェクタをROSベースのロボットシステムに統合し、リアルタイムかつ正確なプロジェクションマッピングを実現できるか？
• RQ5 多様なロボットプラットフォームや環境にプロジェクションマッピングを展開する際の実用的課題とその解決策は何か？

主な発見

• 本システムは、標準的なロボティクスソフトウェアスタックを用いて、検出された物体や操作対象といった認識出力を物理的表面にリアルタイムで投影できることを実証した。
• Rviz内の仮想カメラを実際のプロジェクタの姿勢と内部パラメータと一致させることで、投影されたビジュアルが現実の物体の形状とサイズと正確に一致することを保証した。
• スクリーン表示と現実環境との間でユーザーが精神的にマッピングする必要がなくなるため、誤解や認知的負荷が軽減された。
• 点群、ナビゲーション経路、インタラクティブマーカーなどのさまざまなビジュアライゼーションを動的かつ変更なしに投影でき、コアのプロジェクションパイプラインに影響を与えない。
• 本システムはFetchロボットで検証され、補助ロボットを含む他のプラットフォームにも適用可能であり、ロボットに依存しない性質が裏付けられた。
• GitHub上のオープンソースコードベースにより、研究者がプロジェクションベースの説明可能性に関する再現、拡張、ヒューマン・サブジェクト研究を容易に行えるようになった。