[論文レビュー] Filling the Gap of Utterance-aware and Speaker-aware Representation for Multi-turn Dialogue

Longxiang Liu, Zhuosheng Zhang+3 more|arXiv (Cornell University)|Sep 14, 2020

Speech and dialogue systems被引用数 9

ひとこと要約

本稿では、事前学習言語モデルにおけるマスク付きアテンションメカニズムを用いて、発話に依存する表現と発話者に依存する表現を明示的にモデル化することで、リtrievalベースのマルチターン対話システムの性能を向上させる、Makedベースのデカップリング・フェージングネットワーク（MDFN）を提案する。この手法は、4つのベンチマークデータセットにおいて強力なELECTRAベースラインを大幅に上回り、発話者役割と発話レベルの文脈を分離することで、より良い推論と応答選択が可能になる。

ABSTRACT

A multi-turn dialogue is composed of multiple utterances from two or more different speaker roles. Thus utterance- and speaker-aware clues are supposed to be well captured in models. However, in the existing retrieval-based multi-turn dialogue modeling, the pre-trained language models (PrLMs) as encoder represent the dialogues coarsely by taking the pairwise dialogue history and candidate response as a whole, the hierarchical information on either utterance interrelation or speaker roles coupled in such representations is not well addressed. In this work, we propose a novel model to fill such a gap by modeling the effective utterance-aware and speaker-aware representations entailed in a dialogue history. In detail, we decouple the contextualized word representations by masking mechanisms in Transformer-based PrLM, making each word only focus on the words in current utterance, other utterances, two speaker roles (i.e., utterances of sender and utterances of receiver), respectively. Experimental results show that our method boosts the strong ELECTRA baseline substantially in four public benchmark datasets, and achieves various new state-of-the-art performance over previous methods. A series of ablation studies are conducted to demonstrate the effectiveness of our method.

研究の動機と目的

• 既存のリtrievalベースのマルチターン対話システムにおいて、発話に依存する表現と発話者に依存する表現の明示的モデリングの欠如に対処すること。
• 発話者役割の遷移と局所的な発話意味をより効果的に捉えることで、応答選択の正確性を向上させること。
• 自己アテンションにおいて遠く離れた文脈と発話者役割が混同される標準的な事前学習言語モデルの限界を克服すること。
• 多様な対話ベンチマークで性能を向上させる、モジュラーで効果的かつ汎用性のある手法を設計すること。
• 対話表現学習におけるデカップリング機構とフェージング戦略の必要性と有効性を検証すること。

提案手法

• Transformerベースの事前学習言語モデルにマスキング機構を適用し、現在の発話、他の発話、発話者役割（送信者／受信者）を別々にアテンション対象とする。
• 発話に依存するモデリングと発話者に依存するモデリングにそれぞれ異なるマスキングパターンを適用することで、文脈的な単語表現をデカップリングし、関連するサブコンponentsに集中したアテンションを可能にする。
• ゲート付きフェージング機構によりデカップリングされた表現を統合し、元の単語表現を参照にすることで、最適な情報保持を実現するアテンション重みを計算する。
• デカップリング後、発話間の順序的依存関係をモデル化するためにBiGRU層を用い、ターンレベルの文脈を捉える。
• 最終的な表現は、最大プーリングを用いて単語レベル特徴を集約することで得られ、平均プーリングやCNNベースの手法よりも顕著な信号をよりよく保持する。
• フレームワークは、BERT、RoBERTa、ELECTRAなど、さまざまな事前学習言語モデルと互換性があり、異なるモデルアーキテクチャにわたる一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 発話に依存する表現と発話者に依存する表現の明示的学習は、マルチターン対話における応答選択をどのように向上させるか？
• RQ2 コアファレンスや役割遷移の処理において、発話に依存するモデリングと発話者に依存するモデリングの相対的寄与度は何か？
• RQ3 異なるフェージングおよび集約戦略は、最終的な対話表現の質にどのように影響を与えるか？
• RQ4 提案されたデカップリング機構は、さまざまな事前学習言語モデルに効果的に一般化可能か？
• RQ5 短い対話シーケンスにおいて、デカップリングとBiGRU層の最適な深さは何か？

主な発見

• MDFNモデルは、4つの公開のリtrievalベースのマルチターン対話ベンチマークで最先端の性能を達成し、MuTualデータセットにおいてELECTRAベースライン比でR@1が5.1%絶対的に向上した。
• アブレーションスタディの結果、発話者に依存するモデリングが最も重要な要因であり、これを欠いたモデルよりも顕著に優れた性能を示した。
• 集約に最大プーリングを用いることで、平均プーリングやCNNベースの手法を上回り、後者ではフィルタ共有の拘束性が原因で一般化性能が著しく劣ることが判明した。
• 1層のデカップリングで十分であり、深層スタックよりも性能が優れている。深層化は学習を阻害し、ノイズを増加させる。
• BiGRUの深さが1層を超えると性能が低下し、短い対話シーケンスでは浅いモデル化が最適であることが示された。
• 本手法は、さまざまな事前学習モデル（BERT、RoBERTa、ELECTRA）のベースおよびラージサイズにおいて、一貫した向上を示し、良好な一般化性能を示した。