[論文レビュー] Guiding attention in Sequence-to-sequence models for Dialogue Act prediction

Pierre Colombo, Émile Chapuis+4 more|arXiv (Cornell University)|Feb 20, 2020

Topic Modeling参考文献 25被引用数 7

ひとこと要約

本稿では、対話行動（DA）予測のための階層的エンコーダと、新たなガイド付きアテンションメカニズムを備えたシーケンス・ツー・シーケンスモデルを提案する。このアプローチは、グローバルなラベル依存関係をモデル化することで、先行研究を上回る性能を達成する。エンド・トゥ・エンドの学習にビームサーチとシーケンスレベルのファインチューニングを用い、手作業で特徴を設計する必要も、CRFの後処理も不要であり、SwDAでは85%、MRDAでは91.6%の精度を達成し、新たなSOTA結果を樹立した。

ABSTRACT

The task of predicting dialog acts (DA) based on conversational dialog is a key component in the development of conversational agents. Accurately predicting DAs requires a precise modeling of both the conversation and the global tag dependencies. We leverage seq2seq approaches widely adopted in Neural Machine Translation (NMT) to improve the modelling of tag sequentiality. Seq2seq models are known to learn complex global dependencies while currently proposed approaches using linear conditional random fields (CRF) only model local tag dependencies. In this work, we introduce a seq2seq model tailored for DA classification using: a hierarchical encoder, a novel guided attention mechanism and beam search applied to both training and inference. Compared to the state of the art our model does not require handcrafted features and is trained end-to-end. Furthermore, the proposed approach achieves an unmatched accuracy score of 85% on SwDA, and state-of-the-art accuracy score of 91.6% on MRDA.

研究の動機と目的

• 線形CRFによる局所的依存関係のみを捉える現在のDA分類モデルの限界を解消すること。
• ニューラル機械翻訳にインspiredされたシーケンス・ツー・シーケンスフレームワークを用いて、対話行動におけるグローバルな順序的依存関係をモデル化すること。
• 階層的符号化と新規のガイド付きアテンションメカニズムを活用することで、DA分類の精度を向上させること。
• エンド・トゥ・エンドの学習により、手作業で特徴を設計する必要を排除すること。
• ビームサーチとシーケンスレベルのファインチューニングの有効性を、予測性能の向上に寄与するかどうかを評価すること。

提案手法

• 発話レベルおよび対話レベルの表現をモデル化するため、階層的GRUエンコーダを用いる。
• 予測されたラベル位置に基づいて、関連する発話を注目するように制限するハード・ガイドドアテンションメカニズムを導入する。
• 複数のデコード経路を探索するために、学習時および推論時の両方でビームサーチを適用する。
• 全シーケンスの正答率を最適化するために、シーケンスレベルの損失関数を用いてファインチューニングを行う。
• 手作業で特徴を設計する必要も、CRFの後処理レイヤーも一切使わず、エンド・トゥ・エンドでモデルを学習する。
• 標準的なエンコーダ・デコーダアーキテクチャにGRUセルとアテンションを用い、DAシーケンス生成に適応した構造を採用する。

実験結果

リサーチクエスチョン

• RQ1 シーケンス・ツー・シーケンスモデルは、局所的なラベル遷移を超えて、対話行動シーケンスにおける長距離依存関係を効果的に捉えることができるか？
• RQ2 標準的なアテンションと比較して、ガイド付きアテンションは、入力発話と予測された対話行動との間のアライメントをどのように改善するか？
• RQ3 学習時および推論時にビームサーチを適用することで、DA予測におけるシーケンスレベルの正答率が顕著に向上するか？
• RQ4 シーケンスレベルの損失関数を用いたエンド・トゥ・エンド学習は、このシーケンスラベル付けタスクにおいて、標準的なクロスエントロピー学習を上回る性能を発揮するか？
• RQ5 CRFベースのCRF後処理に依存する最先端のモデルと比較して、本モデルはどのように性能を発揮するか？

主な発見

• 提案されたseq2seqモデルは、SwDAで85%の精度を達成し、以前のSOTA（82.9%）を2.1ポイント上回った。
• MRDAデータセットでは91.6%の精度に達し、先行研究で報告された最高水準の結果と同等またはそれを上回った。
• ハード・ガイドドアテンションメカニズムは、アテンションのバリエーションの中で最も優れた性能を示し、ラベルのアライメントを向上させ、予測誤差を低減した。
• シーケンスレベルの損失関数によるファインチューニングにより、SwDAでは0.1%の精度向上（84.0% → 85.0%）、MRDAでは1.2%の向上（90.4% → 91.6%）が達成された。
• 学習時にビームサーチを適用すると、推論時のみにビームサーチを適用する場合よりも優れた性能が得られ、最適なビームサイズは学習時においてSwDAで2、MRDAで5であった。
• 手作業で特徴を設計する必要もなく、CRFの後処理も不要でありながら、SOTAの結果を達成した。これは、ガイド付きアテンションを用いたエンド・トゥ・エンド学習の有効性を示している。