[論文レビュー] An Embarrassingly Simple Model for Dialogue Relation Extraction

Fuzhao Xue, Aixin Sun+3 more|arXiv (Cornell University)|Dec 27, 2020

Topic Modeling被引用数 4

ひとこと要約

本稿では、会話文における複数のエンティティペア間の関係相互作用を捉えるために、複数の[CLS]トークンを用いた新しいBERT関係トークンシーケンス（BRS）を備えた、軽量かつ効果的なモデルSimpleREを提案する。関係特徴の適応的精錬を可能にする関係精錬ゲート（RRG）を導入し、従来のBERTベースの手法と比較して著しく高速な学習を実現しながら、DialogREで最先端のF1スコアを達成した。

ABSTRACT

Dialogue relation extraction (RE) is to predict the relation type of two entities mentioned in a dialogue. In this paper, we propose a simple yet effective model named SimpleRE for the RE task. SimpleRE captures the interrelations among multiple relations in a dialogue through a novel input format named BERT Relation Token Sequence (BRS). In BRS, multiple [CLS] tokens are used to capture possible relations between different pairs of entities mentioned in the dialogue. A Relation Refinement Gate (RRG) is then designed to extract relation-specific semantic representation in an adaptive manner. Experiments on the DialogRE dataset show that SimpleRE achieves the best performance, with much shorter training time. Further, SimpleRE outperforms all direct baselines on sentence-level RE without using external resources.

研究の動機と目的

• 会話文における複数の関係間の相互作用をモデル化することで、関係抽出の性能を向上させること。
• グラフネットワークのような複雑な構造を用いずに、BERTの強みを活かした単純だが効果的なアーキテクチャの設計。
• 既存のBERTベースのモデルと同等またはそれ以上の性能を維持しつつ、学習時間を短縮すること。
• 外部知識を用いない状態で、モデルを文レベルの関係抽出タスクに適応できることを示すこと。

提案手法

• 各エンティティペアの前に複数の[CLS]トークンを配置することで、関係固有の表現を符号化する、変更された入力フォーマット「BERT関係トークンシーケンス（BRS）」を導入。
• 最初の[CLS]トークン（h₀）を会話全体の文脈を表すものとし、以降の[CLS]トークン（hᵣᵢ）を各エンティティペアの関係固有の意味を符号化するものとする。
• h₀とhᵣᵢを連結し、シグモイド活性化関数を用いた1層のフィードフォワードネットワークで処理する関係精錬ゲート（RRG）を適用し、関係予測のための信頼度スコアを計算。
• ゲーティングされた表現に対して線形分類器を適用し、関係分類を実行。文レベルのREではソフトマックス関数を用いる。
• BRSの[CLS]トークン配置の重要性とRRGモジュールの有効性を評価するためのアブレーションバージョン（BRS-v2, BRS-v3）を設計。
• 文レベルのREに適応するため、BRSを1文あたり1つの[CLS]に簡略化し、単一関係設定のためRRGを削除した。

実験結果

リサーチクエスチョン

• RQ1 BERT入力の単純な再フォーマット（BRS）は、会話文における複数の関係間の相互作用を効果的にモデル化できるか？
• RQ2 提案された関係精錬ゲート（RRG）は、関係表現学習を向上させ、性能向上に寄与するか？
• RQ3 DialogREデータセットにおいて、SimpleREの性能はBERTs や GDPNet といった強力なベースラインと比べてどうか？
• RQ4 外部知識を用いない状態で、SimpleREフレームワークは文レベルの関係抽出に効果的に適応可能か？
• RQ5 アブレーションスタディを通じて、各構成要素（BRS, RRG, h₀, hᵣ）が最終的な性能に果たす寄与度は何か？

主な発見

• SimpleREは、すべてのBERTベースのモデルの中でDialogREデータセットで最高のF1スコアを達成し、BERTs や GDPNet を大きく上回った。
• モデルはBERTs や GDPNet よりも少なくとも5倍速く学習が完了し、顕著な効率性の向上を示した。
• アブレーションスタディでは、2番目の[CLS]トークン（関係表現用）を削除するとF1が1.1%低下し、その重要性が確認された。
• 関係表現hᵣのみを用いる場合、F1は70.0に低下し、文脈表現h₀のみを用いると70.6に低下する。両者とも必須であることが証明された。
• TACREDおよびTACRED-Revisitデータセットでは、それぞれ71.7および80.7のF1を達成し、外部知識を用いるKnowBERTを含むすべての直接ベースラインを上回った。
• [CLS]トークンの配置を[SEP]を用いて再配置したBRS-v2およびBRS-v3バージョンでは、F1がそれぞれ62.8および63.5に著しく低下し、[CLS]トークンの位置に非常に感受することが示された。