[論文レビュー] EmpTransfo: A Multi-head Transformer Architecture for Creating Empathetic Dialog Systems

Rohola Zandie, Mohammad H. Mahoor|arXiv (Cornell University)|Mar 5, 2020

Topic Modeling参考文献 25被引用数 42

ひとこと要約

EmpTransfoは、感情・トピック・アクションの文脈を多タスク学習で取り入れる多頭のTransformer対話モデルを導入し、共感的で一貫した応答を生成する。DailyDialogにおけるHit@1とパープレキシティでベースラインを上回る。

ABSTRACT

Understanding emotions and responding accordingly is one of the biggest challenges of dialog systems. This paper presents EmpTransfo, a multi-head Transformer architecture for creating an empathetic dialog system. EmpTransfo utilizes state-of-the-art pre-trained models (e.g., OpenAI-GPT) for language generation, though models with different sizes can be used. We show that utilizing the history of emotions and other metadata can improve the quality of generated conversations by the dialog system. Our experimental results using a challenging language corpus show that the proposed approach outperforms other models in terms of Hit@1 and PPL (Perplexity).

研究の動機と目的

• 共感的な対話エージェントを構築する動機づけと、適切な感情で応答すること。
• 明示的な文脈信号（感情・トピック・行動）が応答品質に与える影響を調査する。
• 異なる事前学習言語モデルと互換性のあるスケーラブルなアーキテクチャを開発する。
• 多タスク学習が共感品質と生成性能の両方を改善することを示す。

提案手法

• EmpTransfoを提案する。次の感情、次の発話、次のトークンを予測する3つの並列ヘッドを備えた12層Transformerデコーダ。
• OpenAI GPTの事前学習重みを使用し、感情・アクション・トピックの埋め込みを用いてDailyDialogでファインチューニングする。
• 多タスク目的関数L_total = c1 L1 + c2 L2 + c3 L3として訓練する。各Lは言語モデリング、次の発話予測、次の感情予測に対応する。
• 入力はトークン・感情・アクション埋め込みとトピック埋め込みを連結してモデル入力とする。
• デコード時には創造性と信頼性のバランスを取るための nucleus (top-p) 採択（p=0.9、T=0.7）。
• DailyDialogの評価セットでHit@1、パープレキシティ（PPL）、F1、BLEUを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 感情・トピック・アクションの文脈を組み込むことは共感的な応答生成にどのように影響するか？
• RQ2 補助タスクを持つマルチヘッドTransformerは応答品質と感情予測精度の両方を改善できるか？
• RQ3 EmpTransfoアーキテクチャは異なる事前学習言語モデルサイズに対して頑健か？
• RQ4 文脈的特徴（トピック/アクション）を追加することが自動評価指標に与える影響は？

主な発見

Model	Hit@1 ↑	PPL ↓	F1 ↑	BLEU ↑
Seq2Seq+Attention	9.41	129.3	10.22	5.58
Transformer ranker	17.20	-	26.37	15.79
OpenAI GPT without emotion	75.01	10.19	18.2	3.755
EmpTransfo	77.25	10.63	19.39	3.99
EmpTransfo + topic	76.87	10.23	18.37	4.51
EmpTransfo + action	77.73	9.17	18.86	3.71
EmpTransfo + action + topic	78.47	9.04	17.27	2.45

• EmpTransfoとその文脈拡張バリアントはHit@1とPPLでベースラインを上回る。
• トピックとアクション文脈を追加すると、ベースのEmpTransfoよりHit@1が高くPPLが低くなる。
• 感情・アクション・トピック特徴を持つEmpTransfoは、Hit@1が最も高く(PPL 9.04)の総合的な改善を実現した。
• 感情なしのOpenAI GPTもHit@1で強い性能を示す（75.01）だが、他の指標では改善の余地がある。
• 次の発話の感情予測はPrecision 81.35、Recall 72.37、F1 76.59を達成し、従来のベースラインを上回る。