[論文レビュー] Multimodal Interaction with Multiple Co-located Drones in Search and Rescue Missions

Jonathan Cacace, Alberto Finzi+1 more|arXiv (Cornell University)|May 24, 2016

Speech and dialogue systems参考文献 12被引用数 21

ひとこと要約

本論文は、アルプス地方の捜索救助ミッションにおいて、ジェスチャー、音声、タブレット入力を用いて、複数の同居するドローンを共同で制御できるマルチモーダルでミックスド・イニシアチブ型のヒューマン・ロボット相互作用フレームワークを提示する。このシステムは、リアルタイムでのジェスチャーおよび音声コマンドと自律的ドローン行動を統合し、時間的圧力下でも効率的で自然な相互作用を可能にする。結果として、3台のドローンは2台よりも著しく優れた被災者検出速度と成功率を示し、平均で5.6名の被災者を発見し、最初の3名の被災者を発見するまでの平均時間は96.6秒であった。

ABSTRACT

We present a multimodal interaction framework suitable for a human rescuer that operates in proximity with a set of co-located drones during search missions. This work is framed in the context of the SHERPA project whose goal is to develop a mixed ground and aerial robotic platform to support search and rescue activities in a real-world alpine scenario. Differently from typical human-drone interaction settings, here the operator is not fully dedicated to the drones, but involved in search and rescue tasks, hence only able to provide sparse, incomplete, although high-value, instructions to the robots. This operative scenario requires a human-interaction framework that supports multimodal communication along with an effective and natural mixed-initiative interaction between the human and the robots. In this work, we illustrate the domain and the proposed multimodal interaction framework discussing the system at work in a simulated case study.

研究の動機と目的

• 救助隊員がドローン制御に完全に専念できない高ストレス・時間制約のあるアルプス地方の捜索救助（SAR）ミッションにおけるヒューマン・ドローン相互作用の課題に対処すること。
• バケーションが多忙な救助隊員がジェスチャー、音声、タブレットコマンドを用いて、スパarsな高価値の入力を得られる自然なマルチモーダル相互作用フレームワークを設計すること。
• 自律的、ミックスド・イニシアチブ型、遠隔操作の柔軟な制御モードを可能とし、救助隊員の意図に応じてシームレスに切り替えられるようにすること。
• 複数のドローンを用いたシミュレーテッドアルプス地方SARシナリオにおいて、この相互作用フレームワークの有効性を評価すること。
• 救助隊員の作業負荷をバランスさせるとともに、複数のドローン間の効果的な協調動作を確保すること。

提案手法

• 本システムは、Myoアームバンドを用いたジェスチャー認識、音声コマンド、タブレットベースのUIを統合したマルチモーダル相互作用アーキテクチャを採用している。
• コマンドベースとジョイスティックベースの相互作用メタファーの両方をサポートし、実行中の正確な制御と軌道調整を可能にしている。
• 指差しジェスチャーと同期された音声（例：「そこへ行け」）により、指示的コミュニケーションが可能になっている。
• ミックスド・イニシアチブ型制御ループにより、解釈されたヒューマン入力を継続的にロボット制御システムに統合し、リアルタイムでドローン行動を調整している。
• 本フレームワークは、2〜3台のドローンを用いたアルプス地方のシミュレーテッド環境で評価されており、監視とコマンド発行にタブレットインターフェースが使用されている。
• 相互作用モダリティおよび制御モードのログを取得・分析し、作業負荷の分配、コマンド使用状況、システムパフォーマンスの評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 高リスクのSARミッションにおいて、多忙な救助隊員と複数の同居ドローンとの間で、効果的で自然的かつ頑健な通信を実現するためのマルチモーダル相互作用フレームワークは、どのように設計されるべきか？
• RQ2 ジェスチャーと音声入力を組み合わせることで、時間的制約のある状況下でのドローン制御の効率性と直感性はどの程度向上するか？
• RQ3 複数のドローンを管理する際の作業負荷はどのように分配されるのか？また、本システムはバランスの取れた非非効率的な監視と制御をサポートするか？
• RQ4 2台のドローンと比較して3台のドローンを用いることで、被災者検出速度と成功率にどのようなパフォーマンス上の影響が生じるか？
• RQ5 自律的、ミックスド・イニシアチブ型、遠隔操作の各制御モードは、ミッションの効果性および救助隊員の関与度にどのように寄与するか？

主な発見

• 2台のドローンと比較して、3台のドローンを用いることで被災者検出パフォーマンスが著しく向上し、平均で5.6名の被災者を発見した（2台では3.9名）（p < .0001）。
• 最初の3名の被災者を発見するまでの平均時間は、3台のドローンでは96.6秒であったのに対し、2台では249.6秒であった（p < .0001）。
• ジェスチャーによるコマンドは頻繁に使用され、特に音声と組み合わせて使用される傾向にあった。一方、純粋な音声コマンドはあまり使われなかったため、マルチモーダルの相乗効果が示された。
• 救助隊員の注意の分配がバランス良く取られており、最も活発なドローンに平均108秒（全時間の30％）を割り当て、全ドローンを同時に監視する時間は平均75.6秒（全時間の22％）であった。
• ドローンは主に自律モードで動作しており（主導的）、遠隔操作モードでの時間はわずかであった。これは、自律性への信頼性が高く、直接制御が最小限に抑えられていることを示している。
• 全6名の被災者を発見する成功率は、3台のドローンでは46.6％であったのに対し、2台では0％であった。これは、マルチモーダルフレームワークのスケーラビリティと頑健性を示している。