[論文レビュー] Towards Learning Transferable Conversational Skills using Multi-dimensional Dialogue Modelling

Simon Keizer, Verena Rieser|arXiv (Cornell University)|Mar 31, 2018

Speech and dialogue systems参考文献 15被引用数 6

ひとこと要約

本稿では、会話のターンチェンジ、フィードバック、社会的規範といったドメインに依存しない会話スキルを、別々の会話行動次元に分離することで、マルチエージェント強化学習を用いたポリシーの転送を可能にする多次元会話管理フレームワークを提案する。初期の実験では、ソースドメインからポリシーを転送することで、新しいターゲットドメインにおける学習が著しく加速され、サンプル効率と安定性が向上することが示された。

ABSTRACT

Recent statistical approaches have improved the robustness and scalability of spoken dialogue systems. However, despite recent progress in domain adaptation, their reliance on in-domain data still limits their cross-domain scalability. In this paper, we argue that this problem can be addressed by extending current models to reflect and exploit the multi-dimensional nature of human dialogue. We present our multi-dimensional, statistical dialogue management framework, in which transferable conversational skills can be learnt by separating out domain-independent dimensions of communication and using multi-agent reinforcement learning. Our initial experiments with a simulated user show that we can speed up the learning process by transferring learnt policies.

研究の動機と目的

• 現在の統計的会話システムがドメイン内訓練データに強く依存するため、クロスドメインへのスケーラビリティが限られている問題に対処する。
• フィードバック、ターンチェンジ、社会的義務といったドメインに依存しない会話次元を特定・分離することで、ドメイン特有のポリシー学習のボトルネックを克服する。
• マルチエージェント強化学習を用いて、これらの独立した次元で転送可能なポリシーを学習することで、効率的なクロスドメイン適応を実現する。
• シミュレーテッドユーザーテストを通じて、会話スキルのドメイン間転送の可能性を実証し、学習時間を短縮するとともに安定性を向上させる。

提案手法

• ISO規格に基づく多次元会話行動分類法を用い、タスク、オートフィードバック、ターン管理、社会的義務などを含む9つのコア次元を定義する。
• 各次元が別個のMDPエージェントによって管理される統計的会話マネージャーを実装し、共有および次元特有の報酬関数を用いたマルチエージェント強化学習で訓練する。
• ユーザーサイミュレータを用いて、再訓練なしにドメイン間でのポリシー転送が可能なシミュレーテッド環境でシステムを訓練および評価する。
• 報酬関数を次元特有の成分に分解することで、独立した学習を可能にしつつ、アクションの組み合わせルールによって協調性を維持する。
• 価値関数近似（例：線形モデル）を用いてポリシー最適化を実施し、より大きな状態空間やアクション空間に対応するため、深層ニューラルネットワークへの拡張を計画している。
• 事前に定義された組み合わせルールを用いて、異なる次元からの会話行動候補間の論理的整合性を保証しつつ、マルチアクション応答における柔軟性を許容する。

実験結果

リサーチクエスチョン

• RQ1 ドメインに依存しない会話スキルは、有効に独立した会話行動次元として分離・モデル化できるか？
• RQ2 1つのドメインで学習したポリシーは、未観測の新しいドメインにおける学習をどの程度加速できるか？
• RQ3 多次元会話行動におけるマルチエージェント強化学習は、従来の1次元ポリシー学習と比較して、学習速度および安定性の面でどのように異なるか？
• RQ4 次元特有の報酬関数は、複数の会話管理エージェントの安定的かつ効率的な共同訓練をどのように可能にするか？
• RQ5 モノリシックな1次元ポリシーに崩壊することなく、独立したMDPエージェント間の協調をどのように維持できるか？

主な発見

• 転送学習を組み込んだ多次元システムは、1次元ベースラインと比較して、特に初期学習段階で一貫した性能向上を示した。
• 同一ドメインでの最初の転送設定では、多次元システムが1次元システムよりも迅速な収束とより安定した学習曲線を達成した。
• 異なるドメインでの2番目の転送設定でさえも、多次元システムは測定可能な改善を示したが、やや不安定であった。これは、ドメイン間での転送可能性は実現可能であるが、ドメインの差異に敏感である可能性を示唆している。
• フィードバックやターンチェンジといったドメインに依存しない次元の事前学習済みポリシーを再利用することで、新しいドメインでの学習が迅速化した。
• 次元特有の報酬関数と協調的なアクション選択の導入により、完全な再訓練を要せず、複数のMDPエージェントの安定した共同訓練が可能になった。
• 予備的な結果から、多次元アプローチは、新しいタスクに適応する際、基本的な会話行動を再学習する必要を減らすことが示唆されており、転送可能な会話スキルの仮説を支持する。