[論文レビュー] Conversation Learner -- A Machine Teaching Tool for Building Dialog Managers for Task-Oriented Dialog Systems

Swadheen Shukla, Lars Lidén+7 more|arXiv (Cornell University)|Apr 9, 2020

Speech and dialogue systems参考文献 10被引用数 8

ひとこと要約

Conversation Learner は、ルールベースの対話フローとニューラルネットワークベースの対話マネージャーの間を橋渡しする機械学習ツールであり、ルールベースのフローをハイブリッドコードネットワーク（HCN）ベースのモデルに変換し、ラベル付き対話ログを用いた教育インターフェースを通じて対話作成者が反復的にパフォーマンスを向上させることを可能にする。わずか 3–5 件の教育例で、ルールベースのシステムに比べてタスク完了品質が 13.8% 向上する。

ABSTRACT

Traditionally, industry solutions for building a task-oriented dialog system have relied on helping dialog authors define rule-based dialog managers, represented as dialog flows. While dialog flows are intuitively interpretable and good for simple scenarios, they fall short of performance in terms of the flexibility needed to handle complex dialogs. On the other hand, purely machine-learned models can handle complex dialogs, but they are considered to be black boxes and require large amounts of training data. In this demonstration, we showcase Conversation Learner, a machine teaching tool for building dialog managers. It combines the best of both approaches by enabling dialog authors to create a dialog flow using familiar tools, converting the dialog flow into a parametric model (e.g., neural networks), and allowing dialog authors to improve the dialog manager (i.e., the parametric model) over time by leveraging user-system dialog logs as training data through a machine teaching interface.

研究の動機と目的

• 複雑な、流れから外れる、または曖昧なユーザー入力を処理できないルールベースの対話マネージャーの限界を解消すること。
• 完全にニューラルな対話マネージャーのブラックボックス性と大量データを必要とする課題を克服すること。
• 対話作成者が実際のユーザー・システム対話ログを用いて対話ポリシーを改善できる、実用的でインタラクティブなインターフェースを提供すること。
• ルールベースのシステムの解釈可能性を保ちながら、学習モデルの一般化性能を達成するハイブリッドアプローチを提供すること。
• 最小限の人為的介入（機械学習による教育）によっても、ニューラル対話ポリシーのパフォーマンスが著しく向上することを実証すること。

提案手法

• Power Virtual Agents などのツールで作成されたルールベースの対話フローを、パrametric HCNベースの対話マネージャーに変換する。
• 対話作成者が問題のある対話ログをレビュー・修正できる機械学習インターフェースを提供する。
• 修正済みの対話トランスクリプトを用いて HCN ベースの対話ポリシーを訓練し、意思決定能力を向上させる。
• HCN においてアクションマスクとシーケンスモデリングを適用し、対話状態遷移とポリシー意思決定を表現する。
• 一般的な対話失敗モードを是正するために、少量の高影響力の教育例を追加することで、反復的にモデルを改善する。
• 実世界の対話トランスクリプトを用いた人間による評価を通じて、タスク完了品質のパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 ルールベースの対話フローから、期待される挙動を保持したままニューラル対話ポリシーを効果的にブートストラップできるか？
• RQ2 対話作成者がログに記録された対話を最小限かつ的確に修正することで、ニューラル対話マネージャーのパフォーマンスをどの程度向上できるか？
• RQ3 HCN ベースの対話マネージャーは、流れから外れる、または曖昧なユーザー発話に対処する際、ルールベースのシステムと比較してどの程度優れているか？
• RQ4 わずか 3–5 件の教育例を追加することで、ニューラル対話ポリシーの全体的なタスク完了正確性にどのような影響を与えるか？
• RQ5 機械学習インターフェースを用いることで、大規模なアノテート済みデータセットを必要とせずに、スケーラブルで保守可能な対話システム開発が可能になるか？

主な発見

• HCN ベースの対話マネージャーは、91.63% の対話でルールベースのシステムと同等のパフォーマンスを達成しており、ルールベースのフローからの成功したブートストラップを示している。
• 4.53% のケースで、HCN ベースのモデルがルールベースのシステムを上回った。特に、曖昧な発話や流れから外れた発話を処理する場面で顕著であった。
• 機械学習インターフェースを介してわずか 3–5 件の教育例を追加した後、HCN モデルは 13.8% の対話でルールベースのシステムを上回った。
• 改善効果は、文脈の切り替え、繰り返し、フォローアップ質問の処理といった、ルールベースのシステムで一般的な失敗モードに対して特に顕著であった。
• 人間による評価では、教育後の HCN モデルが 12.99% のネット向上を示したが、わずか 0.81% のケースで評価が悪化したにとどまった。
• これらの結果は、機械学習による最小限で的確な人為的介入が、ニューラル対話ポリシーのパフォーマンス向上に著しい効果をもたらす可能性を示している。