[論文レビュー] Augmenting Knowledge through Statistical, Goal-oriented Human-Robot Dialog

Saeid Amiri, Sujay Bajracharya+3 more|arXiv (Cornell University)|Jul 8, 2019

Speech and dialogue systems参考文献 31被引用数 4

ひとこと要約

本論文では、ロボットが人間のサービス要請を同時に特定し、リアルタイムの対話によって知識ベース（KB）に新しいエンティティおよび参照表現を拡張できる二軌道型対話マネージャーを提示する。意味解析器と確率的対話マネージャーを用いることで、対話経験から学習し、言語理解とKBの完全性を向上させる。本システムは、人間-ロボット対話における効率性と成功確率において、静的KBベースラインを上回る性能を発揮した。

ABSTRACT

Some robots can interact with humans using natural language, and identify service requests through human-robot dialog. However, few robots are able to improve their language capabilities from this experience. In this paper, we develop a dialog agent for robots that is able to interpret user commands using a semantic parser, while asking clarification questions using a probabilistic dialog manager. This dialog agent is able to augment its knowledge base and improve its language capabilities by learning from dialog experiences, e.g., adding new entities and learning new ways of referring to existing entities. We have extensively evaluated our dialog system in simulation as well as with human participants through MTurk and real-robot platforms. We demonstrate that our dialog agent performs better in efficiency and accuracy in comparison to baseline learning agents. Demo video can be found at https://youtu.be/DFB3jbHBqYE

研究の動機と目的

• ロボットが事前に定義された知識ベースを超えて、人間-ロボット対話から新しいエンティティおよび参照表現を学習できるようにすること。
• 対話の信頼性と情報量の増加に基づいて、いつ、どのようにKBを拡張すべきかを動的に意思決定する対話システムを設計すること。
• 複数ターンにわたる自然言語対話におけるサービス要請特定の効率性と正確性を向上させること。
• シミュレーションおよび実世界の設定（MTurkおよび実ロボット実験を含む）で人間参加者を対象にシステムを評価すること。

提案手法

• システムは、ユーザー発話の意味を解釈し、意図、エンティティ、属性を抽出するハイブリッド意味解析器を用いる。
• 二軌道型部分的に観測可能なマルコフ意思決定過程（POMDP）コントローラーが、対話フローとKB拡張意思決定を並列で管理する。
• 対話マネージャーは信頼度トラッキングを用いて、いつ明確化質問を発するか、いつKB更新を開始するかを判断する。
• KB拡張戦略は、エージェントが曖昧さや不確実性を検出した場合にのみ、新しいエンティティ（例：人物、物品）を追加し、意味的に意味のある追加を保証する。
• エージェントはユーザー入力を観察することで、新しい参照表現（例：'私'、'Nate'）を学び、KBに新しい名前とその指す対象を更新する。
• ROSを用いてセグウェイベースの移動型ロボットに実装され、シミュレーション、MTurk、実世界の人間実験を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 自然言語対話中に事前に定義されたエンティティに依存せずに、ロボットが動的に知識ベースを拡張できるか？
• RQ2 実時間でのKB拡張は、人間-ロボット対話における対話成功確率と効率にどのように影響するか？
• RQ3 二軌道型対話マネージャーは、静的KBベースラインと比較してユーザーエクスペリエンスを向上させるか？
• RQ4 システムは、ユーザー入力から新しい参照表現（例：'私'、'Nate'）をどれほど効果的に学習できるか？
• RQ5 対話経験から学習する能力は、固定間隔でのKB更新戦略と比較して、どのように優れているか？

主な発見

• 本対話エージェントは、特に実ロボット実験において、静的KBベースラインと比較して著しく高い成功確率を達成し、対話回数も少なくした。
• 信頼度0.1の水準で、参加者から「不満度」（p=0.03）と将来的なロボット利用意欲（p=0.02）の有意な改善が報告された。
• 実際の対話において、'Nate'のような新しいエンティティや、'私'のような新しい参照表現を、完全な対話例を通じて効果的に学習した。
• MTurkでの参加者からは、タスクのしやすさや理解度に有意な差が認められなかったが、これはドメインの単純さとMTurkタスクにおけるユーザーの関与度の低さによるものと推察される。
• 二軌道型POMDPコントローラーにより、エージェントは対話進行とKB拡張のバランスを保ち、余分な明確化質問を減らし、全体の効率性を向上させた。
• シミュレーションおよび実世界の評価において、エージェントは静的KBベースラインを精度と対話効率の両面で上回り、ユーザー満足度指標においても明確な改善が認められた。