[論文レビュー] Hierarchical Dialogue Understanding with Special Tokens and Turn-level Attention

Xiao Liu, Jian Zhang+3 more|arXiv (Cornell University)|Apr 29, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、追加の事前学習を必要とせず、特別トークンとターンレベルのアテンションを用いて会話内意味を捉える、シンプルでありながら効果的な階層的会話理解手法HiDialogを提案する。ターン固有の特別トークンを挿入し、自己アテンションにおいてターン外のトークンをマスクすることで、会話内意味を効果的に捉える。HiDialogは、複数のベンチマークにおいて会話関係抽出、感情認識、会話行動分類の3つのタスクで最先端の性能を達成し、F1スコアで先行モデルを最大4%上回った。

ABSTRACT

Compared with standard text, understanding dialogue is more challenging for machines as the dynamic and unexpected semantic changes in each turn. To model such inconsistent semantics, we propose a simple but effective Hierarchical Dialogue Understanding model, HiDialog. Specifically, we first insert multiple special tokens into a dialogue and propose the turn-level attention to learn turn embeddings hierarchically. Then, a heterogeneous graph module is leveraged to polish the learned embeddings. We evaluate our model on various dialogue understanding tasks including dialogue relation extraction, dialogue emotion recognition, and dialogue act classification. Results show that our simple approach achieves state-of-the-art performance on all three tasks above. All our source code is publicly available at https://github.com/ShawX825/HiDialog.

研究の動機と目的

• マルチターン会話における動的で一貫性のない意味の表現をモデル化する課題に取り組むこと。これは、標準的な事前学習言語モデルがしばしば無視する問題である。
• 一般事前学習と会話固有の微調整のギャップを埋めること。追加の事前学習や計算コストを要しない。
• ターンレベル表現の階層的モデリングにより、会話理解を向上させる軽量で即席のソリューションを開発すること。
• 関係抽出、感情認識、会話行動分類といった重要な会話理解タスクにおける性能向上を図ること。

提案手法

• 各ターンにターンレベルの意味ユニットを表す特別トークン（[T]）を挿入することで、個々のターン内での注目を集中化する。
• 現在のターン以外のトークンをマスクすることで、ターンレベルのアテンションを適用し、各ターンの表現が文脈的に意識され、他のターンから分離されることを保証する。
• 標準的なBERTスタイルのエンコーダーを用い、特別トークンの符号化中に計算を現在のターンに制限するように変更されたアテンションメカニズムを適用する。
• 発話者の識別子は専用の埋め込みにより符号化され、入力トークンと連結され、発話者に依存する文脈を保持する。
• 符号化後、異種グラフニューラルネットワークモジュールを適用して、ターン間で情報を精錬・伝達し、ターン間理解を強化する。
• 最終的な分類ヘッドは、[CLS]トークンの表現を用いて下流タスクの予測を行う。これにより、標準的な微調整と互換性が保たれる。

Figure 1: Illustration of the proposed intra-turn modeling. In the turn-level attention, the restriction is applied on turn-level special tokens, denoted as $[T]$ , where tokens outside the turn are masked out (colored in grey).

実験結果

リサーチクエスチョン

• RQ1 ターンレベルの意味に焦点を当てた、事前学習を不要とするシンプルな手法が、会話理解において最先端の性能を達成できるか？
• RQ2 特別トークンとターンレベルアテンションは、グローバルな[CLS]または平均プーリングに比べて、会話内情報の捉え方においてどのように優れているか？
• RQ3 提案手法は、関係抽出、感情認識、会話行動分類といった多様な会話理解タスクに一般化可能か？
• RQ4 特に長文シーケンスにおける性能低下を示すモデルと比較して、本手法は長さの増加に対してどれほど頑健か？
• RQ5 異種グラフモジュールは、長文または複雑な会話における性能向上にどの程度寄与しているか？

主な発見

• HiDialogはDialogREデータセットで最先端の性能を達成し、前回のSOTA（TUCORE-GCN）をF1で4%、F1_cで2.3%上回った。
• MELDデータセットでは、感情認識の加重F1でTUCORE-GCNを1.5%上回った。
• アブレーションスタディの結果、ターンレベルアテンションを削除するとF1が1.5%低下し、F1_cが0.8%低下した。これは、文脈に配慮したターン表現にとってその重要性を確認した。
• HiDialogは全長の会話長グループで強力な性能を維持した。特に100トークン未満の会話でTUCORE-GCNとの性能差が最大となった。
• 長文会話においても、HiDialogは頑健な性能を示した。一方、TUCORE-GCNは500トークンを超えるとシーケンス長が増加するにつれて顕著な性能低下を示した。
• 異種グラフモジュールは、非対称関係に対して特に効果的であった。その除去により、対称関係と非対称関係の間で性能トレンドが逆転した。

Figure 2: Analysis of robustness of HiDialog tackling increasing utterance length compared to baseline TUCORE-GCN on DialogRE dataset.