[論文レビュー] Speaker-Oriented Latent Structures for Dialogue-Based Relation Extraction

Guoshun Nan, Guoqing Luo+3 more|arXiv (Cornell University)|Sep 11, 2021

Topic Modeling参考文献 72被引用数 7

ひとこと要約

本稿では、会話ベースの関係抽出（DiaRE）におけるマルチスプーカー発話に起因する論理の混同と情報スパarsity問題を解消するため、発話境界を越えて関係を明示的に捉え、スプーカー固有の正則化によって情報スパarsityを軽減する、スプーカー指向の潜在構造モデルSOLSを提案する。発話を超えて潜在構造を学習し、スプーカー関連の手がかりに焦点を当てることで、SOLSは3つの公開データセットで最先端の性能を達成する。

ABSTRACT

Dialogue-based relation extraction (DiaRE) aims to detect the structural information from unstructured utterances in dialogues. Existing relation extraction models may be unsatisfactory under such a conversational setting, due to the entangled logic and information sparsity issues in utterances involving multiple speakers. To this end, we introduce SOLS, a novel model which can explicitly induce speaker-oriented latent structures for better DiaRE. Specifically, we learn latent structures to capture the relationships among tokens beyond the utterance boundaries, alleviating the entangled logic issue. During the learning process, our speaker-specific regularization method progressively highlights speaker-related key clues and erases the irrelevant ones, alleviating the information sparsity issue. Experiments on three public datasets demonstrate the effectiveness of our proposed approach.

研究の動機と目的

• マルチスプーカー発話に起因する会話ベースの関係抽出（DiaRE）における論理の混同と情報スパarsity問題に対処すること。
• 複数の発話にまたがるトークン間の関係を明示的にモデル化し、会話内の構造的理解を向上させること。
• 訓練中にスプーカー関連の重要な手がかりを段階的に強調することで、情報スパarsityを軽減すること。
• スプーカー固有の関連性を高め、不要な情報を抑制する正則化機構を開発すること。
• スプーカー指向の潜在構造が複数の公開会話データセットで有効であることを示すこと。

提案手法

• モデルは発話境界を越えて依存関係を捉える潜在構造を学習し、個々の発話の範囲を越えて会話レベルの関係をモデル化する。
• スプーカー固有の正則化法を導入し、訓練中に各スプーカーに関連するトークンを強調し、不要なトークンを抑制する。
• 潜在構造学習部は、異なるスプーカーおよび発話間の長距離依存関係をモデル化する。
• モデルはスプーカーIDを文脈信号として統合し、アテンションおよび表現学習プロセスをガイドする。
• 訓練目的は、標準の関係抽出損失とスプーカーに配慮した正則化を組み合わせることで、重要な手がかりの検出を向上させる。
• アーキテクチャは会話データ上でエンドツーエンドに訓練され、マルチスプーカー文脈を扱えるように注意メカニズムが変更されている。

実験結果

リサーチクエスチョン

• RQ1 発話を超える関係のモデル化は、マルチスプーカー会話における関係抽出を改善できるか？
• RQ2 スプーカー固有の正則化は、情報がスパースな発話における関連手がかりの検出にどのように影響するか？
• RQ3 スプーカー指向の潜在構造は、会話ベースの関係抽出における論理の混同をどの程度軽減するか？
• RQ4 提案手法は、標準のDiaREベンチマークで既存モデルを上回る性能を示すか？
• RQ5 多様な会話データセット、特にスプーカーのダイナミクスが異なる環境において、モデルの頑健性はどの程度か？

主な発見

• SOLSは3つの公開会話ベースの関係抽出データセットで最先端の性能を達成した。
• モデルは、発話境界を越えて関係を明示的にモデル化することで、論理の混同の影響を顕著に低減した。
• スプーカー固有の正則化は、訓練中にスプーカー関連トークンを強調することで、情報スパarsityを効果的に軽減した。
• アブレーションスタディの結果、潜在構造学習部とスプーカー正則化部の両方が性能向上に寄与していることが確認された。
• 多様な会話設定において一貫した改善が見られ、一般化能力の高さが示された。
• 定量的結果では、ベースラインモデル比でF1スコアに顕著な向上が確認され、提案手法の有効性が裏付けられた。