[論文レビュー] One Vector is Not Enough: Entity-Augmented Distributional Semantics for Discourse Relations

Yangfeng Ji, Jacob Eisenstein|arXiv (Cornell University)|Nov 25, 2014

Topic Modeling参考文献 50被引用数 15

ひとこと要約

本論文では、構文解析木を用いた上向き・下向きのパス処理を通じて、話題の主語や照応する名前句の両方のコンpositionsベクトル表現を計算することで、暗黙の対話関係分類を向上させるエンティティ拡張型分散意味論モデルを提案する。この手法は、単一のベクトル表現が表現できないエンティティに結びついた意味的依存関係を捉えることで、Penn Discourse Treebank において従来の最先端手法より3%の精度向上を達成した。

ABSTRACT

Discourse relations bind smaller linguistic units into coherent texts. However, automatically identifying discourse relations is difficult, because it requires understanding the semantics of the linked arguments. A more subtle challenge is that it is not enough to represent the meaning of each argument of a discourse relation, because the relation may depend on links between lower-level components, such as entity mentions. Our solution computes distributional meaning representations by composition up the syntactic parse tree. A key difference from previous work on compositional distributional semantics is that we also compute representations for entity mentions, using a novel downward compositional pass. Discourse relations are predicted from the distributional representations of the arguments, and also of their coreferent entity mentions. The resulting system obtains substantial improvements over the previous state-of-the-art in predicting implicit discourse relations in the Penn Discourse Treebank.

研究の動機と目的

• 単一のベクトル表現が、エンティティの役割や照応に依存する対話関係を捉えきれないという限界を解消すること。
• 従来の最先端手法を超えて、暗黙の対話関係分類の性能を向上させること。
• コンポジティブな分散意味論を用いて、話題の主語レベルだけでなく、エンティティの名前句レベルでも対話意味をモデル化すること。
• 照応するエンティティの表現が、暗黙の対話関係の予測を顕著に向上させることを示すこと。

提案手法

• モデルは、構文解析木を上向きにたどって話題の主語を表現し、下向きにたどって照応するエンティティの名前句を表現する二段階のコンポジティブプロセスにより、分散表現を計算する。
• エンティティの名前句表現は、二分木化された解析木における親ノードと兄弟ノードの情報を統合するフィードフォワードモデルを用いて計算される。
• 話題レベルとエンティティレベルのベクトル表現を双線形結合することで、対話関係を予測する。
• 構成演算子と予測行列は、対話関係のアノテーションからバックプロパゲーションを用いて、マージン最大化フレームワークで同時に学習される。
• 分類性能の向上を図るため、表面特徴量と分散表現を統合する。
• 照応チェーンを明示的にモデル化することで、'She' や 'Tina' といった名前句をその先行詞にリンクさせ、より豊かな意味的モデリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 照応するエンティティの名前句をモデル化することで、単に話題の主語レベルの表現だけに依存するものより、暗黙の対話関係分類が向上するか？
• RQ2 下向きのコンポジションによるエンティティ役割の意味論を組み込むことで、標準的なコンポジティブな分散意味論モデルと比較して、対話関係予測がどの程度向上するか？
• RQ3 エンティティを拡張した表現は、対話における微細な意味的依存関係を捉える上で、単一のベクトル表現を上回る程度の効果を示すか？
• RQ4 句構造と照応解決を統合することで、より強固で正確な対話解析が達成されるか？

主な発見

• 提案されたエンティティ拡張型モデルは、Penn Discourse Treebank における多クラス暗黙の対話関係分類タスクで、従来の最先端手法より3%の絶対的な精度向上を達成した。
• エンティティの名前句表現を組み込むことで性能が顕著に向上し、単一のベクトル表現だけでは対話レベルの意味を捉えるのに不十分であることが実証された。
• 下向きのコンポジティブパスは、'She' と 'Bob' のような照応するエンティティの役割固有の意味を効果的に捉えている。
• より最近の二値分類アプローチを上回る性能を示しており、異なるタスク定式化に対してもモデルの頑健性が確認された。
• t-SNEの可視化結果から、'she' と 'he' は類似した分散表現を持つが、エンティティ拡張型表現により、モデルはそれらの対話的役割を明確に区別できている。
• 結果から、対話関係は表面特徴量や話題レベルの意味論だけに依存するのではなく、照応関係やエンティティの役割が正確な予測に不可欠であることが検証された。