[論文レビュー] Petri Net Machines for Human-Agent Interaction

Christian Dondrup, Ioannis Papaioannou+1 more|arXiv (Cornell University)|Sep 13, 2019

Context-Aware Activity Recognition Systems参考文献 22被引用数 6

ひとこと要約

この論文では、人間-エージェント相互作用タスクの信頼性の高い並列実行を可能にするために、Petri ネットを用いた決定論的有限状態マシンを構築する形式的フレームワーク、Petri Net Machines (PNMs) を導入する。PNMs がインタ leaves されたタスク実行、自然言語対話、ROS との統合をサポートすることを示し、フィンランドのショッピングモールでの実際の展開において、ロボットが方向案内を提供しながらも、遮断や社会的会話に対応した成功事例を示している。

ABSTRACT

Smart speakers and robots become ever more prevalent in our daily lives. These agents are able to execute a wide range of tasks and actions and, therefore, need systems to control their execution. Current state-of-the-art such as (deep) reinforcement learning, however, requires vast amounts of data for training which is often hard to come by when interacting with humans. To overcome this issue, most systems still rely on Finite State Machines. We introduce Petri Net Machines which present a formal definition for state machines based on Petri Nets that are able to execute concurrent actions reliably, execute and interleave several plans at the same time, and provide an easy to use modelling language. We show their workings based on the example of Human-Robot Interaction in a shopping mall.

研究の動機と目的

• 複雑で並列的な人間-エージェント相互作用をモデル化する際の従来の有限状態マシン（FSMs）の限界を克服すること。
• 人間-エージェント相互作用における強化学習のデータ集約的要件を、知識駆動型でエキスパートがアノテートした代替手法によって克服すること。
• 社会的ロボットにおいて、指差し、話すこと、理解の確認といった物理的および対話的行動を並列に実行する信頼性の高い方法を提供すること。
• 並列処理、ループ、回復動作をサポートする、形式的で検証可能で拡張可能な状態マシンのモデリング言語を提供すること。
• ROS およびアクションサーバーとネイティブに互換性を持つシステムを構築し、SMACH や類似フレームワークに対する実用的な代替手段を提供すること。

提案手法

• アクション、事前条件、効果を定義するための YAML および PDDL スタイル構文に基づくドメイン固有のマークアップ言語を用いて、対話ロジックをモデル化する。
• 状態が到達不能にならないことを保証し、複数の Petri Net Machines (PNMs) の並列実行をサポートする、形式的 Petri ネットベースの実行エンジンを実装する。
• ROS アクションサーバーと統合することで、実行中にロボットシステムや外部知識ベースとシームレスに相互作用できるようにする。
• アクションの事前条件と事後条件に基づいて、自動的に回復動作とチェックを生成することで、実行の安定性を向上させる。
• タスクの中断と再開をサポートし、進行中の物理的タスクと対話や新しいタスクの並列実行を可能にする。
• 社会的対話は外部システムで管理し、物理的タスクのオーケストレーションは PNM が行うハイブリッド実行モデルを採用する。

実験結果

リサーチクエスチョン

• RQ1 Petri Net Machines は、人間-ロボット相互作用において、物理的および対話的行動を信頼性高く並列にモデル化・実行できるか？
• RQ2 特に社会的会話の並列処理を伴う場合に、PNMs はタスクの中断と再開をどの程度効果的に処理できるか？
• RQ3 PNM フレームワークは、SMACH や類似の FSM ベースのシステムに比べて、表現力、並列処理、保守性の面でどの程度優れているか？
• RQ4 PNM のモデリング言語は、低レベルのプログラミングを必要とせずに、非エキスパート開発者でも複雑な対話行動を構築できるか？
• RQ5 本システムは、ショッピングモールのような実世界の制御不能環境でも、どの程度の性能を示すか？

主な発見

• 5回の顧客対応および開発者テストの全範囲で、システムは遮断後に意図したタスクを正しく再開でき、タスク再開の信頼性を示した。
• 経路案内の際、言語的説明、指差し、視線の動きといった複数の同時行動を的確に調整し、時間的・意味的整合性を維持した。
• PNM フレームワークにより、対話タスク（例：好きな本の話題）と物理的タスク（例：方向案内）のシームレスな並列処理が可能になり、タスク状態の損失は発生しなかった。
• アクションの事前条件と効果に基づいて、システムが自動的に回復動作を生成し、手動でのコーディングなしで実行の安定性が向上した。
• YAML ベースのマークアップ言語を用いることで、深いプログラミングの知識がなくても直感的で人間が読みやすい状態マシンの記述が可能になった。
• フィンランドのショッピングモールでの5日間の実地展開における観察データから、ユーザーが引き起こす遮断や動的な入力に対しても、PNM は実世界の条件下で正しくタスクを実行したことが確認された。