[論文レビュー] Bootstrapping incremental dialogue systems: using linguistic knowledge to learn from minimal data

Dimitrios Kalatzis, Arash Eshghi+1 more|arXiv (Cornell University)|Dec 1, 2016

Speech and dialogue systems参考文献 8被引用数 3

ひとこと要約

本稿では、動的文法（DS）文法と単語レベルの方策学習を統合することで、最小限のアノテートされていない対話データから段階的対話システムをブートストラップする強化学習ベースの手法を提案する。システムはたった一つの訓練対話のみを用いて、省略、確認、訂正などの多様な対話バリアントを発見し、教師あり学習のパターンを超えて堅牢な一般化が可能であることを示している。

ABSTRACT

We present a method for inducing new dialogue systems from very small amounts of unannotated dialogue data, showing how word-level exploration using Reinforcement Learning (RL), combined with an incremental and semantic grammar - Dynamic Syntax (DS) - allows systems to discover, generate, and understand many new dialogue variants. The method avoids the use of expensive and time-consuming dialogue act annotations, and supports more natural (incremental) dialogues than turn-based systems. Here, language generation and dialogue management are treated as a joint decision/optimisation problem, and the MDP model for RL is constructed automatically. With an implemented system, we show that this method enables a wide range of dialogue variations to be automatically captured, even when the system is trained from only a single dialogue. The variants include question-answer pairs, over- and under-answering, self- and other-corrections, clarification interaction, split-utterances, and ellipsis. This generalisation property results from the structural knowledge and constraints present within the DS grammar, and highlights some limitations of recent systems built using machine learning techniques only.

研究の動機と目的

• 対話行動アノテーションの高コストを低減するため、対話システムのブートストラップに言語的構造を活用すること。
• ターンベースの制約なしに段階的で自然な対話生成と理解を可能にすること。
• 開発者の作業負荷を最小限に抑えるために、アノテートされていない対話データをたった一つの対話で方策を学習すること。
• 形式的意味論的文法と強化学習による探索によって、未観測の対話バリアントへの一般化を可能にすること。
• 単語レベルで最適化された対話管理と自然言語生成の統合方策を実現すること。

提案手法

• 本手法は、対話文脈を段階的に追跡し、意味的特徴をレコード型（RT）として抽出することで、状態表現の基盤を構築するため、動的文法（DS）解析を用いる。
• 状態符号化関数は、RT間の部分型関係（⊆）を用いて、対話文脈をバイナリーベクトルにマップし、根拠のある意味論と現在の段階的発話内容を区別する。
• マークフ・決定過程（MDP）は、ドメイン固有のスロット値を脱語彙化し、成功した対話から意味的特徴を抽出することで、アノテートされていない対話から自動的に導出される。
• ディープQ学習エージェントは、発話の単語からなる語彙からの行動をとる単語レベルの方策（π: S → L）を学習し、意味的ユーザーサイミュレータと相互作用することで訓練される。
• 意味的ユーザーサイミュレータは、自動抽出された規則（sem → {u₁,…,uₙ}）を用いて、意味的文脈に基づきシステムの発話を遮断し、根拠のある応答を保証する。
• 報酬関数は、ゴール文脈に到達した場合にR(s) = 1.0、中間ステップではR(s) = 0.0、ドメイン外、不文法的、または長すぎる出力に対してはR(s) = -1.0を割り当てる。

実験結果

リサーチクエスチョン

• RQ1 対話行動アノテーションなしに、アノテートされていない対話データをたった一つの対話で効果的に対話システムをブートストラップできるか？
• RQ2 動的文法（DS）文法と強化学習を統合することで、未観測の対話バリアントへの一般化はどの程度可能になるか？
• RQ3 単語レベルの段階的方策学習は、ターンベースのアプローチと比較して、自然さとユーザーフレンドリー性をどのように向上させるか？
• RQ4 自動抽出された規則に基づく意味的ユーザーサイミュレータは、手動アノテーションなしに効果的な強化学習訓練を可能にするか？
• RQ5 文法制約付き空間内で強化学習による探索によって、どのような種類の対話変化（例：省略、訂正、確認）が発見可能か？

主な発見

• システムは、消費者電子機器分野のアノテートされていない訓練対話1つのみを用いて、対話方策を正常に学習した。
• システムは、訓練データに存在しなかった複数の対話バリアント（分割発話、自己訂正、確認要求など）を発見し、生成した。
• 動的文法（DS）文法の使用により、構造的一般化が可能となり、省略や過剰・不足回答のような文脈依存発話を処理できるようになった。
• 単語レベルの強化学習方策は、ターンベースのシステムと比較してより自然で段階的な対話を生成し、ユーザーフレンドリー性の研究結果とも整合した。
• 対話データから自動的に構築された意味的ユーザーサイミュレータは、ユーザーフレーズを意味的文脈に一致させ、ドメイン外応答をペナルティ処理することで、効果的な訓練を可能にした。
• 本手法は、単一の学習済み方策により、対話管理と自然言語生成の完全な統合最適化を達成し、別々のモジュール統合の必要性を排除した。