[論文レビュー] Coherence Modeling of Asynchronous Conversations: A Neural Entity Grid Approach

Tasnim Mohiuddin, Shafiq Joty+1 more|arXiv (Cornell University)|May 6, 2018

Topic Modeling参考文献 19被引用数 7

ひとこと要約

本稿では、非同期的会話における一貫性をモデル化するため、エンティティ遷移を語彙化し、会話ツリー構造を組み込んだニューラルエンティティグリッドモデルを提案する。語彙埋め込みと3次元空間時間グリッドを用いてニューラルグリッドを拡張することで、一貫性評価タスクで最先端の性能を達成し、フォーラムにおけるスレッド再構築にも効果的に応用可能であり、ベースラインよりスレッドレベルで2.7%、エッジレベルで2.5%の精度向上を達成した。

ABSTRACT

We propose a novel coherence model for written asynchronous conversations (e.g., forums, emails), and show its applications in coherence assessment and thread reconstruction tasks. We conduct our research in two steps. First, we propose improvements to the recently proposed neural entity grid model by lexicalizing its entity transitions. Then, we extend the model to asynchronous conversations by incorporating the underlying conversational structure in the entity grid representation and feature computation. Our model achieves state of the art results on standard coherence assessment tasks in monologue and conversations outperforming existing models. We also demonstrate its effectiveness in reconstructing thread structures.

研究の動機と目的

• フォーラムやメールのような非同期的会話における一貫性モデリングの不足を解決すること。
• 語彙埋め込みを用いてエンティティ遷移を語彙化することで、一般化性能を向上させるニューラルエンティティグリッドモデルの改善。
• 3次元グリッド表現を用いて会話ツリー構造を捉えることで、ニューラルグリッドモデルを会話構造を捉えるように適応すること。
• 非同期ディス course における一貫性評価とスレッド再構築タスクに対してモデルを評価すること。
• 一貫性モデルがオンライン会話の背後にあるスレッド構造を予測できることを示すこと。

提案手法

• 事前学習済み語彙埋め込みを用いてニューラルグリッドモデル内のエンティティ遷移を語彙化し、エンティティタイプと関係の表現を向上させること。
• 会話ツリーにおける時間的経過と返信階層に沿ったエンティティ遷移を符号化する3次元グリッド表現を構築すること。
• 3次元グリッドに2次元畳み込み層を適用し、エンティティ遷移の空間的・時間的特徴を抽出すること。
• 畳み込み特徴に対して最大プーリングを適用し、一貫性スコアリング用の固定長表現を生成すること。
• 正しい文の順序と並び替えまたは逆順の順序を区別できるように、ペairワイズランキング損失を用いてモデルを学習すること。
• すべての有効な候補ツリー構造に対してスコアを付与し、最もスコアの高いものを選択することで、スレッド再構築にモデルを適応すること。

実験結果

リサーチクエスチョン

• RQ1 語彙化されたエンティティ遷移は、独白的・会話的ディス course における一貫性モデリングを改善できるか？
• RQ2 ニューラルエンティティグリッドは、非順序的かつツリー構造的な非同期的会話の性質をどのように表現できるか？
• RQ3 一貫性モデルは、オンラインフォーラムにおける正しいスレッド構造をどの程度正確に予測できるか？
• RQ4 会話構造を組み込むことで、一貫性評価およびスレッド再構築タスクにおける性能が向上するか？
• RQ5 明示的な特徴工学が不適切な低リソース環境でも、モデルは有効に機能するか？

主な発見

• 語彙化されたニューラルエンティティグリッドモデルは、独話および会話の標準的一貫性評価タスクで最先端の結果を達成し、先行モデルを上回った。
• CNETフォーラムデータセット（スレッドあたり最大5投稿）において、最良のベースライン（COS-sim）と比較して、スレッドレベルで2.7%、エッジレベルで2.5%のスレッド再構築精度向上を達成した。
• スレッド再構築で最も優れた性能を示したモデルはフィルタ幅2を使用しており、局所的かつ左から右へのエンティティ遷移が返信構造を特定する上で重要であることを示している。
• スレッドレベルおよびエッジレベルの指標において、All-previous、All-first、COS-simなどのベースラインを、p < .01の有意水準で著しく上回った（最良のモデル）。
• 3次元グリッド表現は、会話ツリーにおける空間的・時間的エンティティ遷移を効果的に捉えており、スレッド仮説の包括的評価を可能にした。
• 語彙埋め込みを用いたエンドツーエンド学習により、明示的な特徴工学を回避できるため、リソースが乏しいドメインへの汎用性が示された。