[論文レビュー] Hybrid Code Networks: practical and efficient end-to-end dialog control with supervised and reinforcement learning

J. D. Williams, Kavosh Asadi+1 more|arXiv (Cornell University)|Feb 10, 2017

Speech and dialogue systems参考文献 29被引用数 18

ひとこと要約

本稿では、再帰的ニューラルネットワーク（RNN）とドメイン固有のソフトウェアおよびアクションテンプレートを組み合わせることで、データ要件を低減しながら教師あり学習および強化学習を可能にするハイブリッドエンドツーエンド対話システム、Hybrid Code Networks（HCNs）を紹介する。HCNsはbAbI対話ベンチマークで最先端の性能を達成し、顕著に少ない訓練データで商用ルールベースシステムを上回る。

ABSTRACT

End-to-end learning of recurrent neural networks (RNNs) is an attractive solution for dialog systems; however, current techniques are data-intensive and require thousands of dialogs to learn simple behaviors. We introduce Hybrid Code Networks (HCNs), which combine an RNN with domain-specific knowledge encoded as software and system action templates. Compared to existing end-to-end approaches, HCNs considerably reduce the amount of training data required, while retaining the key benefit of inferring a latent representation of dialog state. In addition, HCNs can be optimized with supervised learning, reinforcement learning, or a mixture of both. HCNs attain state-of-the-art performance on the bAbI dialog dataset, and outperform two commercially deployed customer-facing dialog systems.

研究の動機と目的

• エンドツーエンド対話システムのデータ要件を低減すること。通常、基本的な行動を学習するには数千件の対話データが必要となる。
• APIコールやエンティティ追跡などのドメイン固有の知識や制約を、データに依存せずにニューラル対話モデルに統合すること。
• 教師あり学習、強化学習、あるいは両者の混合による柔軟な訓練を可能にし、サンプル効率を向上させること。
• 潜在状態表現などのエンドツーエンド学習の利点を維持しながら、開発者による制御性と実用性を高めること。
• ベンチマーク、カスタマーサポート、名前ダイヤリングのタスクを含む多様なドメインで有効性を示すこと。

提案手法

• HCNsは、bag-of-words、発話埋め込み、エンティティの言及などを連結した特徴量から、再帰的ニューラルネットワーク（例：LSTMまたはGRU）を用いて潜在対話状態を学習する。
• ドメイン固有のソフトウェアコンponentは、エンティティ追跡、アクションマスク、コンテキスト特徴量の生成を処理し、手続き的論理と制約を明示的にエンコード可能にする。
• アクションテンプレートは、テキスト応答またはAPIコールの可能性を定義する。一方、アクションマスクは各タイムステップでの無効なアクションを制限する。
• RNNはアクションテンプレートの確率分布を出力し、マスク処理と正規化を経てアクション選択が行われる。強化学習ではアクションがサンプリングされ、教師あり学習では確率が最大のアクションが選択される。
• API応答やシステム出力からの特徴量が、次のタイムステップでRNNにフィードバックされ、状態記憶型の長時間にわたる制御が可能になる。
• 訓練は教師あり学習（ラベル付き対話データを使用）と強化学習（シミュレーテッドユーザーと形状報酬を使用）の両方をサポートしており、最適化中に両手法を混合して使用可能である。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークと手動で作成されたドメインテンプレートを組み合わせることで、エンドツーエンド対話学習のデータ要件を低減しつつ性能を維持できるか？
• RQ2 教師あり学習と強化学習の両方を用いたハイブリッドアプローチは、対話ポリシーの訓練においてどの程度効果的か？
• RQ3 HCNsは、完全に学習されたエンドツーエンドモデルや商用ルールベースシステムを、実用的な対話ドメインで上回ることができるか？
• RQ4 アクションマスクとコンテキスト特徴量の導入は、学習の安定性とサンプル効率を向上させるか？
• RQ5 デプロイ時に教師あり学習と強化学習を交互に適用することで、HCNsは効果的に最適化できるか？

主な発見

• HCNsは、完全にエンドツーエンドのモデルよりも顕著に少ない訓練データでbAbI対話データセットで最先端の性能を達成した。
• 強化学習の前段階で、わずか1〜10件のラベル付き対話データでのRNNの事前学習が、ランダム初期化よりも収束を加速させ、最終的な成功確率を向上させた。
• 強化学習の最適化中に教師あり学習の更新を組み込む（例：100回のRL更新ごとに新しい対話を追加）ことで、学習速度と性能が向上し、エラーの即時是正が可能になった。
• アクションマスク機構のおかげで、訓練の安定性が向上し、無効なアクションの発生が防止された。アブレーション実験では、この機構がないと学習が遅くなった。
• 実際のトラブルシューティングドメインにおいて、2つの商用で導入済みのルールベースカスタマーサポートシステムを上回る性能を示し、実用的優位性を実証した。
• シミュレーテッド名前ダイヤリングタスクでは、最小限のラベル付きデータで高い成功確率を達成し、ドメイン間での一般化能力と適応性の高さを示した。