[論文レビュー] Budgeted Policy Learning for Task-Oriented Dialogue Systems

Zhirui Zhang, Xiujun Li+2 more|arXiv (Cornell University)|Jun 2, 2019

Speech and dialogue systems参考文献 30被引用数 19

ひとこと要約

本稿では、固定された実際のユーザー相互作用数を知的に割り当てることで、タスク指向対話システムにおけるサンプル効率を向上させる予算配慮型スケジューリングフレームワークBCS-DDQを提案する。ポissonベースのスケジューラ、アクティブなユーザー目標サンプリング、および動的コントローラーを統合することで、限られた人間との相互作用予算下でも、映画チケット予約タスクにおいてSOTAベースラインを上回る成功確率を達成する。

ABSTRACT

This paper presents a new approach that extends Deep Dyna-Q (DDQ) by incorporating a Budget-Conscious Scheduling (BCS) to best utilize a fixed, small amount of user interactions (budget) for learning task-oriented dialogue agents. BCS consists of (1) a Poisson-based global scheduler to allocate budget over different stages of training; (2) a controller to decide at each training step whether the agent is trained using real or simulated experiences; (3) a user goal sampling module to generate the experiences that are most effective for policy learning. Experiments on a movie-ticket booking task with simulated and real users show that our approach leads to significant improvements in success rate over the state-of-the-art baselines given the fixed budget.

研究の動機と目的

• 効果的なタスク指向対話エージェントを訓練する際の、実際のユーザー相互作用の制限という課題に対処すること。
• ポリシー学習におけるシミュレート済み行動と実際のユーザー行動の乖離を低減すること。
• 戦略的に高インパクトな訓練経験を選択することで、強化学習におけるサンプル効率を向上させること。
• 予算制約下でのポリシー最適化を図るため、人間のデモンストレーションとアクティブラーニングをDeep Dyna-Qフレームワークに統合すること。
• 提示されたフレームワークの有効性を、シミュレート環境および実際のユーザー設定の両方で実証的に検証すること。

提案手法

• ポアソンベースのグローバルスケジューラが、訓練段階全体にわたり固定された実際のユーザー相互作用予算を動的に割り当てる。
• アクティブなユーザー目標サンプリングモジュールが、未探索または過去に失敗したユーザー目標を選択し、高インパクトな訓練経験を生成する。
• コントローラーが、各ステップで実際の人間同士の会話収集、人間-エージェント相互作用の実施、またはワールドモデルを介したシミュレートされた経験の生成のいずれを行うかを決定する。
• ワールドモデルは実際の経験で学習され、間接的強化学習に使用される高品質なシミュレート済み相互作用を生成する。
• 対話ポリシーは、実データにおける直接的強化学習と、シミュレートデータにおける間接的計画の両方によって更新される。
• BCS-DDQは、サンプル効率と予算制約下でのポリシー性能を向上させるために、予算配慮型スケジューリングをDeep Dyna-Qに拡張する。

実験結果

リサーチクエスチョン

• RQ1 固定された少数の実際のユーザー相互作用を、対話ポリシー訓練の異なる段階に最適に割り当てることは可能か？
• RQ2 どのユーザー目標がポリシー性能の向上に最も効果的か、そしてそれらはどのようにアクティブに選択できるか？
• RQ3 訓練プロセスに人間のデモンストレーションを統合することで、低コスト環境下でのサンプル効率はどのように向上するか？
• RQ4 固定された相互作用予算下で、提案された予算配慮型スケジューリング機構は、標準的なRLおよびDDQベースラインをどの程度上回るか？
• RQ5 活性サンプリングと予算配分の両者が、ポリシー学習効率の向上に果たす相対的貢献は何か？

主な発見

• BCS-DDQは、200件の実際のユーザー相互作用という固定予算下で、DQNおよびDDQを含むSOTAベースラインを著しく上回る成功確率を達成する。
• BCS-DDQエージェントは、テストケースの100％でチケットを予約するが、DDQエージェントは劇場の空き状況について繰り返し無意味な問い合わせを繰り返すため失敗する。
• アブレーションスタディの結果、アクティブサンプリングが予算配分よりもパフォーマンス向上に寄与していることが示され、ランダムサンプリングに置き換えた場合にパフォーマンスが著しく低下する。
• BCS-DDQの学習曲線は、訓練全期間を通じてDQNおよびDDQを一貫して上回り、持続的な改善を確認する。
• BCS-DDQのコントローラーは、実際の相互作用、人間のデモンストレーション、シミュレートされた経験の使用を効果的にバランスさせ、収束速度を速め、より高い成功確率を達成する。
• 人間を含む実験では、BCS-DDQがDDQよりも自然で正確かつタスクを完了する対話を生成することが確認された。