[論文レビュー] Jointly Optimizing State Operation Prediction and Value Generation for Dialogue State Tracking

Yan Zeng, Jian‐Yun Nie|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling参考文献 29被引用数 16

ひとこと要約

本稿では、オープンボキャブラリー多ドメイン対話状態追跡のための、完全にTransformerに基づいたフレームワーク、Transformer-DSTを提案する。このフレームワークは、状態操作予測と値生成を同時に最適化する。平坦なエンコーダ・デコーダアーキテクチャにおいてエンコーダの隠れ状態を再利用することで、BERTを両タスクに同時に微調整する有効な手法を実現し、MultiWOZ 2.1で55.35%の共同目標精度を達成する。これは、先行手法に比べてより高速かつ安定した収束を実現している。

ABSTRACT

We investigate the problem of multi-domain Dialogue State Tracking (DST) with open vocabulary. Existing approaches exploit BERT encoder and copy-based RNN decoder, where the encoder predicts the state operation, and the decoder generates new slot values. However, in such a stacked encoder-decoder structure, the operation prediction objective only affects the BERT encoder and the value generation objective mainly affects the RNN decoder. In this paper, we propose a purely Transformer-based framework, where a single BERT works as both the encoder and the decoder. In so doing, the operation prediction objective and the value generation objective can jointly optimize this BERT for DST. At the decoding step, we re-use the hidden states of the encoder in the self-attention mechanism of the corresponding decoder layers to construct a flat encoder-decoder architecture for effective parameter updating. Experimental results show that our approach substantially outperforms the existing state-of-the-art framework, and it also achieves very competitive performance to the best ontology-based approaches.

研究の動機と目的

• 従来のスタックドエンコーダ・デコーダモデルにおける、状態操作予測と値生成の分離最適化が引き起こす性能の劣化を是正すること。
• スタックドアーキテクチャを排除することで、1つのBERTモデルを状態予測と値生成の両タスクに同時に微調整可能にする。
• エンコーダーのパラメータ更新効率を向上させるために、その隠れ状態をデコーダの自己注意機構で再利用すること。
• 外部知識や大規模事前学習に依存せずに、オープンボキャブラリー・マルチドメイン対話状態追跡で最先端の性能を達成すること。
• 従来の生成フレームワークと比較して、より高速かつ安定した収束を示すこと。

提案手法

• 従来のBERT-RNNスタックドアーキテクチャに代わり、1つのBERTモデルがエンコーダーとデコーダーの両方の役割を果たす。
• エンコーダーとデコーダーの役割を区別するため、異なる入力表現と左から右への自己注意マスクを用いる。
• 現在の対話ターンと[SLOT]トークンのエンコーダー隠れ状態を、デコーダーの自己注意層で再利用することで、平坦なアーキテクチャを構築する。
• 関連性の高い隠れ状態（現在のターンとスロット固有の表現）のみを再利用することで、不要なコンテキストによる性能低下を防ぐ。
• エンドツーエンド学習により、状態操作予測と値生成の両目的を統合的に最適化する。
• 1つの最適化アルゴリズムを用いることで、両タスク間で効果的なパラメータ更新が可能になる。

実験結果

リサーチクエスチョン

• RQ1 統一されたTransformerベースのフレームワークは、対話状態追跡における状態操作予測と値生成を同時に最適化できるか？
• RQ2 デコーダーの自己注意機構でエンコーダー隠れ状態を再利用することで、パラメータ更新効率とモデル性能が向上するか？
• RQ3 平坦なエンコーダ・デコーダ構造は、オープンボキャブラリーDSTにおいてスタックドBERT-RNNアーキテクチャを上回る性能を発揮できるか？
• RQ4 精度、収束速度、リソース効率の観点から、最先端のアプローチと比較して、本モデルはどのように性能を発揮するか？
• RQ5 最大の性能を得るために、デコーダーで再利用すべきエンコーダー隠れ状態の最適な組み合わせは何か？

主な発見

• Transformer-DSTは、MultiWOZ 2.1で55.35%の共同目標精度を達成し、以前の最先端の生成フレームワークを2.3ポイント上回った。
• MultiWOZ 2.0では54.64%の共同目標精度を達成し、前回の最先端手法より2.9%の改善を示した。
• ベースラインフレームワークに比べ、訓練イテレーション数の半分で最良の性能に収束した。
• 両タスクの統合的最適化のおかげで、著しく高速かつ安定した学習ダイナミクスを示した。
• 現在の対話ターンと[SLOT]トークンの隠れ状態のみを再利用した場合が最良の性能を発揮し、全再利用や他の組み合わせを上回った。
• 外部知識や大規模事前学習を一切使用せず、1枚のP100 GPUでのみ使用したにもかかわらず、はるかに大きなモデルや追加の監視信号を必要とするアプローチと同等またはそれ以上の性能を達成した。