[論文レビュー] On Tracking Dialogue State by Inheriting Slot Values in Mentioned Slot Pools

Zhoujian Sun, Zhengxing Huang+1 more|arXiv (Cornell University)|Feb 15, 2022

Speech and dialogue systems被引用数 4

ひとこと要約

本論文は、スロット値の継承と追跡を向上させるために、Mentioned Slot Pool (MSP) を用いた新しい対話状態追跡 (DST) モデルを提案する。MSP は、以前に言及されたすべての値を保持するスロット固有のメモリであり、モデルは現在の文脈に基づいて、前回の値を継承するか、再抽出するかを動的に決定する。これにより、誤った継承を是正し、間接的に言及されたスロットを処理できる。MSP モデルは外部データを用いないまま、MultiWOZ 2.1 および 2.2 で最先端の性能を達成した。

ABSTRACT

Dialogue state tracking (DST) is a component of the task-oriented dialogue system. It is responsible for extracting and managing slot values according to dialogue utterances, where each slot represents an essential part of the information to accomplish a task, and slot value is updated recurrently in each dialogue turn. However, many DST models cannot update slot values appropriately. These models may repeatedly inherit wrong slot values extracted in previous turns, resulting in the fail of the entire DST task. They cannot update indirectly mentioned slots well, either. This study designed a model with a mentioned slot pool (MSP) to tackle the update problem. The MSP is a slot-specific memory that records all mentioned slot values that may be inherited, and our model updates slot values according to the MSP and the dialogue context. Our model rejects inheriting the previous slot value when it predicates the value is wrong. Then, it re-extracts the slot value from the current dialogue context. As the contextual information accumulates with the dialogue progress, the new value is more likely to be correct. It also can track the indirectly mentioned slot by picking a value from the MSP. Experimental results showed our model reached state-of-the-art DST performance on MultiWOZ 2.1 and 2.2 datasets.

研究の動機と目的

• 対話状態追跡における誤ったスロット値の継承問題に対処すること。これは、誤った値がターンをまたいで繰り返し持ち越される現象である。
• 明示的に述べられていないが、他のスロットから参照されるスロット値の追跡を改善すること。
• 誤った過去の値を拒否し、現在の文脈に基づいて再抽出できる、より強固な対話状態更新戦略を設計すること。
• 外部データに依存せずに、MSP メカニズムが DST の性能をどのように向上させるかを評価すること。

提案手法

• モデルは、スロット固有のメモリとしての Mentioned Slot Pool (MSP) を導入し、将来の継承のための以前に言及されたスロット値をすべて保存する。
• 各ターンにおいて、現在の対話文脈と MSP の内容に基づいて、前回のスロット値を継承するか、新しい値を再抽出するかを評価する。
• アテンション機構を用いて、現在の発話と MSP のエントリを比較し、前回の値が誤りである可能性が高いかどうかを判断する。
• 値が誤りと判断された場合、モデルはそれを破棄し、スパン予測を用いて現在の対話文脈から再抽出する。
• MSP を通じて関連スロットに保存された値を取得することで、間接的スロット追跡が可能になる。
• スロット値予測のためのクロスエントロピー損失を用いて、MultiWOZ データセット上でエンドツーエンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 MSP のような記憶ベースのメカニズムは、対話状態追跡におけるスロット値継承の正確性を向上させることができるか？
• RQ2 MSP モデルは、現在の文脈からの再抽出によって、以前に誤ったスロット値をどれほど効果的に是正できるか？
• RQ3 MSP モデルは、現在のターンで明示的に述べられていない間接的言及されたスロット値を、どの程度正しく追跡できるか？
• RQ4 MSP を用いた更新戦略は、標準的な継承戦略に比べて、全体的な DST の性能で優れているか？

主な発見

• MSP モデルは、外部データを用いないモデルの中で、MultiWOZ 2.1 および 2.2 データセットで最先端の性能を達成した。
• 間接的に言及されたスロットの情報を含む MSP-full モデルは、MSP-self モデルを上回り、間接的参照の処理が改善されたことを示した。
• 文脈的証拠がターンをまたいで蓄積された場合に特に顕著に、誤ったスロット値を前回の値を拒否し、現在の文脈から再抽出することで是正した。
• MSP から関連スロットの値を取得することで、91% の間接的言及スロットケースを正常に追跡した。これは、間接的参照解消における強力な能力を示している。
• 全体的な正確性は非常に高かったが、PLFP（予測ラベル偽陽性）率が高く、一部のスロットでは30%を超えていた。これは、複雑な文脈において正しい候補値と誤った候補値を区別するのが難しいことを示している。
• 誤り分析の結果、主な失敗要因は FP および FN 予測であり、特に 'train-leaveat' のような時刻関連スロットで PLFP が大きな障害要因であった。