[論文レビュー] GRASP: Guiding model with RelAtional Semantics using Prompt for Dialogue Relation Extraction

Junyoung Son, Jinsung Kim+2 more|arXiv (Cornell University)|Aug 26, 2022

Topic Modeling被引用数 6

ひとこと要約

GRASPは、引数に注意を向けるプロンプトマーカーと関係的ヒント検出タスクを用いて、情報密度が低い会話における関係抽出を向上させる、プロンプトベースの微調整手法を提案する。追加の層を追加せずにDialogREベンチマークでSOTAを達成し、トリガーと引数役割といった散らばった関係的ヒントにモデルが注目するよう効果的に誘導することで、既存手法を上回る性能を発揮する。

ABSTRACT

The dialogue-based relation extraction (DialogRE) task aims to predict the relations between argument pairs that appear in dialogue. Most previous studies utilize fine-tuning pre-trained language models (PLMs) only with extensive features to supplement the low information density of the dialogue by multiple speakers. To effectively exploit inherent knowledge of PLMs without extra layers and consider scattered semantic cues on the relation between the arguments, we propose a Guiding model with RelAtional Semantics using Prompt (GRASP). We adopt a prompt-based fine-tuning approach and capture relational semantic clues of a given dialogue with 1) an argument-aware prompt marker strategy and 2) the relational clue detection task. In the experiments, GRASP achieves state-of-the-art performance in terms of both F1 and F1c scores on a DialogRE dataset even though our method only leverages PLMs without adding any extra layers.

研究の動機と目的

• マルチスプーカー会話における情報密度の低さという課題に対処する。関係的事実が会話の各発話に散らばっているため。
• トリガーと引数役割のような関係的ヒントに注目できるように、事前学習済み言語モデル（PLM）を誘導することで、会話内の関係抽出を向上させる。
• 追加の層やタスク固有のヘッドを一切使用せずに、PLMのみを用いてDialogREタスクでSOTA性能を達成する。
• 感情認識タスク（MELDおよびEmoryNLP）においても、提案手法の一般化能力を評価することで、関係抽出を超えた応用可能性を示す。

提案手法

• 会話入力における発話者および非発話者引数を明確に示すために、特別なトークンを用いた引数に注意を向けるプロンプトマーカー（APM）戦略を導入する。
• モデルが各トークンが主語、対象、またはトリガーであるかを予測する関係的ヒント検出（RCD）タスクを設計し、関係的要素への注目を促進する。
• RCDタスクとマスク言語モデル（MLM）を統合した共同学習目的関数を採用することで、関係的意味の理解を強化する。
• 関係分類タスクをクローズ型予測問題に変換するために、[MASK]トークンを含むプロンプトテンプレートを用いる。これにより、下流タスクを事前学習の目的と一致させる。
• 追加の層を一切使用せず、RoBERTaなどの事前学習済み言語モデル（PLM）のみを用い、プロンプト工学とタスク固有の監視により性能を誘導する。
• アブレーションスタディを通じて、マーカーの種別とプロンプト設計の最適化を実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 引数に注意を向けるマーカーを用いたプロンプトベースのアプローチは、追加のネットワーク層を追加せずに、情報密度が低い会話における関係抽出を向上させることができるか？
• RQ2 関係的ヒント検出（RCD）タスクは、トリガーと引数役割のような重要な関係的ヒントに注目するようモデルを効果的に誘導できるか？
• RQ3 GRASPフレームワークは、関係抽出を超えて、感情認識のような他の会話理解タスクにも一般化可能か？
• RQ4 DialogREベンチマークにおいて、GRASPはフルショットおよびフェイントショット設定の両方で強力なベースラインと比較してどうなるか？
• RQ5 APM戦略は、マルチスプーカー会話において引数の位置を明示的に強調することで、モデル性能をどの程度向上させるか？

主な発見

• GRASPはDialogREデータセットでSOTA性能を達成し、F1スコアが65.6、F1_cスコアが40.0を記録。TUCORE-GCNなどの既存のSOTAモデルを上回る。
• フルショット設定において、GRASPはMELDおよびEmoryNLPデータセットの両方でRoBERTa、COSMIC、TUCORE-GCNを上回り、強力な一般化能力を示す。
• モデルは対称的関係や「got married」のような重要なトリガーを効果的に捉えており、標準的な微調整済みモデルが検出できないper:spouseとper:siblingsの区別に成功している。
• アブレーションスタディにより、APM戦略が引数の位置を明示的にマークすることで性能が顕著に向上することが示された。
• RCDタスクはモデルが関係的ヒントに注目するのを効果的に誘導し、会話における希薄または曖昧なヒントによる関係の誤分類を低減した。
• GRASPはフェイントショット設定でも優れた性能を発揮しており、PLMの知識を効果的に活用するプロンプトベースの適応により、ロバストで高い性能を発揮することが示された。