[論文レビュー] Multi-task learning for Joint Language Understanding and Dialogue State Tracking

Abhinav Rastogi, Raghav Gupta+1 more|arXiv (Cornell University)|Nov 13, 2018

Speech and dialogue systems被引用数 6

ひとこと要約

本稿では、共有符号化層を用いて言語理解（LU）と対話状態追跡（DST）を同時に学習するマルチタスク学習フレームワークを提案する。これにより、効率性と頑健性が向上する。LUの予測により候補スロット値を生成し、共有再帰ネットワークでスコア付けすることで、未知語（OOV）エンティティに対応し、LUとDSTの出力にスケジューリングサンプリングを適用することで、最先端の共同正解率を達成する。

ABSTRACT

This paper presents a novel approach for multi-task learning of language understanding (LU) and dialogue state tracking (DST) in task-oriented dialogue systems. Multi-task training enables the sharing of the neural network layers responsible for encoding the user utterance for both LU and DST and improves performance while reducing the number of network parameters. In our proposed framework, DST operates on a set of candidate values for each slot that has been mentioned so far. These candidate sets are generated using LU slot annotations for the current user utterance, dialogue acts corresponding to the preceding system utterance and the dialogue state estimated for the previous turn, enabling DST to handle slots with a large or unbounded set of possible values and deal with slot values not seen during training. Furthermore, to bridge the gap between training and inference, we investigate the use of scheduled sampling on LU output for the current user utterance as well as the DST output for the preceding turn.

研究の動機と目的

• パイプライン型対話システムにおける誤差伝搬を軽減するため、言語理解（LU）と対話状態追跡（DST）を共同でモデリングすること。
• LU駆動の候補生成により、値の集合が大きいか無限大のスロット、特に未知語（OOV）エンティティを効率的に扱えるスケーラブルな処理を実現すること。
• DSTにおける学習と推論の分布ギャップを低減するため、LU出力および前ターンの対話状態にスケジューリングサンプリングを適用すること。
• LUとDSTのための共有ニューラルネットワーク層を活用することで、モデルパラメータ数を削減し、効率性を向上させること。

提案手法

• 階層的RNNが対話履歴と現在の発話文を符号化し、LUとDSTの両タスクで中間特徴を共有する。
• LUはIOBラベルを用いて意図分類、対話行動タギング、スロットタギングを実行し、現在の発話文からスロット値を抽出する。
• 各スロットの候補値は、LUスロットタグ、前回の対話行動、および前ターンの対話状態を用いて生成され、OOV対応が可能になる。
• 共有再帰スコアリングネットワークが、すべてのスロットのすべての候補値を評価し、更新された対話状態を出力する。
• 訓練時にLUスロットタグおよび前ターンの対話状態にスケジューリングサンプリングを適用し、推論条件を模擬する。
• 訓練時にスロット値ドロップアウトを用いることで、欠落または誤ったスロット予測に対する頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習によるLUとDSTの共同モデリングは、モデルの複雑さとパラメータ数を削減しつつ、性能を向上させることができるか？
• RQ2 事前に定義された意味的辞書に依存せずに、値の集合が大きいか無限大のスロット、特にOOVエンティティを効果的に処理できるか？
• RQ3 LUとDSTの出力にスケジューリングサンプリングを適用することで、学習と推論の分布ギャップはどの程度低減され、頑健性が向上するか？
• RQ4 共同学習モデルと個別モデリング、または既存の共同モデルと比較して、共同目標正解率およびスロットフレーム正解率の観点から、本手法はどの程度優れているか？

主な発見

• Sim-Rデータセットでは、共同モデルが87.1%の共同目標正解率を達成し、個別モデル（85.0%）を上回り、共同学習の利点を示した。
• Sim-Mデータセットでは、LUとDSTの両出力にスケジューリングサンプリングを適用することで、共同モデルの共同目標正解率が28.3%から46.0%に向上し、低リソース環境での顕著な向上が確認された。
• DSTC2データセットでは、LUタグにスケジューリングサンプリングを適用したモデルが67.0%の共同目標正解率を達成したのに対し、適用なしでは65.0%であったことから、その有効性が裏付けられた。
• スケジューリングサンプリングは、すべてのデータセットおよびモデル構成で一貫して性能向上をもたらし、特にSim-RやDSTC2のような高データ量・低OOV環境で最大の向上が観察された。
• LU駆動の候補生成の活用により、動的またはオープンボリュームのエンティティを有するドメインに対してもスケーラブルにOOVスロット値を効果的に処理できるようになった。
• スロット値ドロップアウトの導入により、LUおよびDSTの両性能が向上し、予測誤りに対する頑健性の向上が示された。