[論文レビュー] Planning and Acting under Uncertainty: A New Model for Spoken Dialogue Systems

Bo Zhang, Cai Qing-sheng+2 more|arXiv (Cornell University)|Jan 10, 2013

Speech and dialogue systems参考文献 6被引用数 6

ひとこと要約

本論文は、複数の入力モダリティからの観測と隠れ状態を用いて、ユーザーの意図とシステム状態の不確実性を明示的に表現する、新しいPOMDPベースの対話管理モデルを提案する。ベイジアンネットワークを用いた低レベルの認識と、方策学習のためのヒューリスティックなグリッドベースの近似を統合することで、従来のMDPアプローチと比較して、特にユーザーの意図が曖昧な状況下でも不確実性に強い性能を発揮する。

ABSTRACT

Uncertainty plays a central role in spoken dialogue systems. Some stochastic models like Markov decision process (MDP) are used to model the dialogue manager. But the partially observable system state and user intention hinder the natural representation of the dialogue state. MDP-based system degrades fast when uncertainty about a user's intention increases. We propose a novel dialogue model based on the partially observable Markov decision process (POMDP). We use hidden system states and user intentions as the state set, parser results and low-level information as the observation set, domain actions and dialogue repair actions as the action set. Here the low-level information is extracted from different input modals, including speech, keyboard, mouse, etc., using Bayesian networks. Because of the limitation of the exact algorithms, we focus on heuristic approximation algorithms and their applicability in POMDP for dialogue management. We also propose two methods for grid point selection in grid-based approximation algorithms.

研究の動機と目的

• ユーザーの意図に関する不確実性を扱うMDPベースの対話システムの限界を解消すること。
• 部分的に観測可能な対話状態と意図を、POMDPフレームワークを用いて明示的にモデル化すること。
• 隠れシステム状態とマルチモーダル観測を用いて、不確実性下での対話管理のロバスト性を向上させること。
• リアルタイム対話システムにおけるPOMDP方策学習のための効率的な近似技術を開発すること。
• 応用固有の観測および行動集合を有するPOMDPにおけるグリッドベースの近似手法を評価すること。

提案手法

• 部分的観測を表現するために、隠れシステム状態とユーザーの意図を用いて対話状態をモデル化する。
• パーサーの出力と低レベルの知覚入力（音声、キーボード、マウス）をベイジアンネットワークを介して観測として使用する。
• ドメイン固有の行動と対話修復行動を、方策最適化のための行動集合として定義する。
• 正確なPOMDP解法の計算的に不切実な問題を克服するため、ヒューリスティックなグリッドベースの近似アルゴリズムを適用する。
• 近似精度を向上させるために、信念空間におけるグリッドポイントの選択に向けた2つの新しい手法を提案する。
• マルチモーダル入力信号を確率的観測に統合するため、ベイジアンネットワークを用いて状態推定を実行する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、音声対話システムにおけるユーザー意図の不確実性を効果的にモデル化できるか？
• RQ2 隠れ状態と意図を用いることで、不確実性下での対話方策性能にどのような影響を与えるか？
• RQ3 マルチモーダル入力（音声、キーボード、マウス）は、POMDPベースの対話システムにおける状態推定をどのように改善するか？
• RQ4 リアルタイム対話アプリケーションにおけるPOMDP方策学習のための効果的な近似戦略は何か？
• RQ5 異なるグリッドポイント選択手法は、対話システムにおけるPOMDP近似の正確性と効率性にどのように影響するか？

主な発見

• 隠れ状態と意図を備えた提案されたPOMDPモデルは、ユーザーの意図に高い不確実性が存在する状況下で、MDPベースのシステムを著しく上回る性能を発揮する。
• マルチモーダル認識にベイジアンネットワークを統合することで、観測品質と状態推定の正確性が向上する。
• ヒューリスティックなグリッドベースの近似により、計算制約があるにもかかわらず、複雑な対話ドメインにおいても実用的な方策学習が可能になる。
• 提案された2つのグリッドポイント選択手法は、近似品質を向上させ、そのうちの1つの手法が信念空間における収束性に優れていることが示された。
• ユーザーの意図が曖昧またはノイズが混入している状況でも、対話管理のロバスト性が向上することが実証された。
• UAI 2001会議議事録からの実験的結果により、ベースラインのMDPアプローチと比較して、本モデルの不確実性処理における有効性が確認された。