[論文レビュー] Multi-Domain Dialogue State Tracking - A Purely Transformer-Based Generative Approach.

Yan Zeng, Jian‐Yun Nie|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling参考文献 29被引用数 8

ひとこと要約

本稿では、BERTをエンコーダーおよびデコーダーとして用い、操作予測とスロット値生成を同時に最適化する、オープンボキャブラリーを備えた純粋なTransformerベースの生成フレームワークを提案する。この手法は、デコーダーの自己注意機構でエンコーダーの隠れ状態を再利用することで、従来のスタックドエンコーダー・デコーダー構造を凌駆し、最先端の性能を達成する。

ABSTRACT

We investigate the problem of multi-domain Dialogue State Tracking (DST) with open vocabulary. Existing approaches exploit BERT encoder and copy-based RNN decoder, where the encoder first predicts the state operation, and then the decoder generates new slot values. However, in this stacked encoder-decoder structure, the operation prediction objective only affects the BERT encoder and the value generation objective mainly affects the RNN decoder. In this paper, we propose a purely Transformer-based framework that uses BERT as both encoder and decoder. In so doing, the operation prediction objective and the value generation objective can jointly optimize our model for DST. At the decoding step, we re-use the hidden states of the encoder in the self-attention mechanism of the corresponding decoder layer to construct a flat model structure for effective parameter updating. Experimental results show that our approach substantially outperforms the existing state-of-the-art framework, and it also achieves very competitive performance to the best ontology-based approaches.

研究の動機と目的

• マルチドメイン対話状態追跡（DST）におけるスタックドエンコーダー・デコーダー構造の限界、特に最適化目的の分離を是正すること。
• 統一されたTransformerアーキテクチャを用いて、操作予測とスロット値生成の両方を連携して最適化すること。
• RNNベースのデコーダーやコピーメカニズムに依存せず、フラットでエンドツーエンドで学習可能な構造を採用すること。
• BERTをエンコーダーおよびデコーダーとして用い、共有表現学習を活用することで、オープンボキャブラリーDSTにおける性能向上を図ること。
• 事前に定義されたスロット値語彙を必要とせず、最高のオントロジーに基づく手法と同等の結果を達成すること。

提案手法

• 従来のスタックドエンコーダー・デコーダー構造に代わり、BERTをエンコーダーおよびデコーダーとして使用する、完全にTransformerベースのフレームワークを提案する。
• エンコーダーの隠れ状態を直接デコーダーの自己注意機構に再利用することで、表現の一貫性を維持し、効果的なパラメータ更新を可能にする。
• 操作予測と値生成を1つの生成的目的に統合し、両タスクの連携最適化を可能にする。
• 別個の操作予測ヘッドやRNNベースのデコーダーを不要とし、フラットなTransformer構造に単純化する。
• コピーメカニズムを一切使用せず、注意機構と自己回帰的デコードに依存する、シーケンス・トゥ・シーケンスの生成アプローチを採用する。
• 会話文脈のエンコーディングと会話状態のデコーディングの両方に同一のBERTモデルを用い、パラメータ共有とエンドツーエンド学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 共有されたBERTエンコーダーおよびデコーダーを用いた純粋なTransformerアーキテクチャは、既存のスタックドエンコーダー・デコーダー構造を上回る性能を発揮できるか？
• RQ2 統一されたフレームワーク内で操作予測と値生成を連携して最適化することで、分離された目的と比較してDST性能が向上するか？
• RQ3 フラットでエンドツーエンドのTransformerモデルは、事前に定義されたスロット値オントロジーまたはコピーメカニズムに依存せず、競争力のある結果を達成できるか？
• RQ4 デコーダーの自己注意機構でエンコーダーの隠れ状態を再利用することは、モデル性能と学習効率にどのように影響するか？
• RQ5 完全に生成的でオープンボキャブラリーなアプローチは、最高のオントロジーに基づくDSTシステムとどの程度同等の性能を達成できるか？

主な発見

• 提案された純粋なTransformerベースのフレームワークは、BERTエンコーダーとRNNデコーダーを用いる既存の最先端フレームワークを著しく上回る性能を発揮する。
• 事前に定義されたスロット値語彙を必要としないオープンボキャブラリー設定下でも、最高のオントロジーに基づくDSTアプローチと同等の性能を達成する。
• 統一されたアーキテクチャを用いた操作予測と値生成の連携最適化は、分離された学習目的と比較して性能向上をもたらす。
• デコーダーの自己注意機構でエンコーダーの隠れ状態を再利用することで、パラメータ効率とモデルの一貫性が向上する。
• スロット値語彙の事前定義が不要な状態でも、オープンボキャブラリーDSTにおける汎化性能が優れている。
• アブレーションスタディにより、提案されたアーキテクチャ設計がベースラインのスタックドモデルと比較してDST精度を顕著に向上させることを確認した。