[論文レビュー] A Deep Sequential Model for Discourse Parsing on Multi-Party Dialogues

Zhouxing Shi, Minlie Huang|arXiv (Cornell University)|Dec 1, 2018

Topic Modeling参考文献 30被引用数 4

ひとこと要約

本稿では、構造化エンコーダーを用いて局所的EDU特徴とグローバル構造的文脈の両方を活用することで、マルチパーティ会話における話の依存関係関係を共同で予測するとともに、段階的に話の構造を構築する深層逐次モデルを提案する。モデルは最先端のベースラインを上回り、関係分類において55.7%のF1スコアを達成した。アブレーションスタディにより、構造的表現とスピーカーハイライトメカニズムの有効性が確認された。

ABSTRACT

Discourse structures are beneficial for various NLP tasks such as dialogue understanding, question answering, sentiment analysis, and so on. This paper presents a deep sequential model for parsing discourse dependency structures of multi-party dialogues. The proposed model aims to construct a discourse dependency tree by predicting dependency relations and constructing the discourse structure jointly and alternately. It makes a sequential scan of the Elementary Discourse Units (EDUs) in a dialogue. For each EDU, the model decides to which previous EDU the current one should link and what the corresponding relation type is. The predicted link and relation type are then used to build the discourse structure incrementally with a structured encoder. During link prediction and relation classification, the model utilizes not only local information that represents the concerned EDUs, but also global information that encodes the EDU sequence and the discourse structure that is already built at the current step. Experiments show that the proposed model outperforms all the state-of-the-art baselines.

研究の動機と目的

• 段階的アプローチによる話の構造解析手法の限界を解消するため、依存関係予測と構造構築を分離する従来手法の問題点を是正すること。
• 非隣接関係を含む非プロジェクティブな話の構造を、マルチパーティ会話においてモデル化すること。
• グローバル構造的文脈を活用して、依存関係リンクと話の構造を同時にかつ交互に予測することで、話の構造解析を改善すること。
• スピーカー情報のハイライトメカニズムを用いて話の表現に統合することで、会話理解を向上させること。
• 予測された話の構造をエンコードする構造的表現が、依存関係予測性能を顕著に向上させることを実証すること。

提案手法

• モデルは、基本的会話単位（EDU）を逐次スキャンし、各EDUについてその親EDUと関係タイプを、局所的およびグローバル文脈に基づいて予測する。
• 現在の話の構造を表現するための構造化エンコーダーを用い、EDUの系列とすでに予測された依存関係の両方をエンコードする。
• 局所的表現は、現在のEDUとその候補となる親EDUから得られる。一方、グローバル表現には、EDUの完全な系列と進化する話の構造が含まれる。
• スピーカーハイライトメカニズムにより、現在のEDUと同じスピーカーのEDUを強調することで、構造的表現を強化し、文脈認識を向上させる。
• リンク予測と話の構造の更新を交互に繰り返すことで、現在の構造からのフィードバックを活用した反復的改善を可能にする。
• フレームワークは構造化エンコーダーを用いて話の木を段階的に維持・更新し、関連する構造的および逐次的情報を重みづけするためのアテンション機構を備える。

実験結果

リサーチクエスチョン

• RQ1 依存関係リンクと話の構造を同時に予測し、段階的に構造を構築する逐次モデルは、マルチパーティ会話における話の構造解析性能を向上させることができるか？
• RQ2 局所的EDU特徴に加えてグローバル構造的文脈を組み込むことで、依存関係予測の正確性が向上するか？
• RQ3 複数人のスピーカーが関与する会話において、スピーカーハイライトメカニズムは話の構造予測の精度向上にどの程度有効か？
• RQ4 予測された話の構造をエンコードする構造的表現は、リンクおよび関係予測の向上にどの程度寄与するか？
• RQ5 依存関係予測と構造構築を分離するパイプラインアプローチと比較して、本手法はどの程度優れているか？

主な発見

• 完全なモデル（Deep Sequential）は、関係分類において55.7%のF1スコアを達成し、最良のベースライン（Deep+Greedy）の51.9%を顕著に上回った。
• 構造的表現を有するモデル（Deep Sequential）は、非構造的ベースライン（71.0%のリンクF1）およびランダム構造バージョン（71.8%のリンクF1）を上回り、意味的な構造的エンコードの価値を示した。
• スピーカーハイライトメカニズムを無効化すると、F1スコアは55.7%から54.5%に低下し、関係予測への肯定的影響が確認された。
• 非構造的表現のみを用いたモデル（Deep Sequential (NS)）でさえ、パイプラインベースライン（Deep+Greedy）を上回った。これは、グローバル文脈を活用する逐次モデリングが、明示的な構造エンコードがなくても性能向上に寄与することを示している。
• 事例スタディでは、構造的表現が、たとえば質問に対する回答がなされた関係をエンコードすることで、依存関係リンクの曖昧さを解消し、正しい親選択を導くのを支援することがわかった。
• 本モデルは、事前に予測された$u_1 \rightarrow u_3$関係を活用して、EDU $u_4$ の親を $u_3$ として正しく予測したが、ベースラインは構造的文脈の欠如により失敗した。