[論文レビュー] Enhanced Word Representations for Bridging Anaphora Resolution

Yufang Hou|arXiv (Cornell University)|Mar 13, 2018

Topic Modeling参考文献 13被引用数 3

ひとこと要約

本稿では、前置詞（例：X of Y）および所有格（例：Y’s X）の名詞句構造を活用することで、参照の橋渡しに不可欠な関連性（associative relatedness）を捉える新しい単語埋め込み手法である embeddings_PP を提案する。GloVe をこれらの文脈で学習させることで、embeddings_PP は ISNotes コーパスにおいて単体で 30.32% の精度を達成し、最先端の MLN モデルを 45.85% まで向上させ、ベースラインの埋め込み手法や先行システムを上回った。

ABSTRACT

Most current models of word representations(e.g.,GloVe) have successfully captured fine-grained semantics. However, semantic similarity exhibited in these word embeddings is not suitable for resolving bridging anaphora, which requires the knowledge of associative similarity (i.e., relatedness) instead of semantic similarity information between synonyms or hypernyms. We create word embeddings (embeddings_PP) to capture such relatedness by exploring the syntactic structure of noun phrases. We demonstrate that using embeddings_PP alone achieves around 30% of accuracy for bridging anaphora resolution on the ISNotes corpus. Furthermore, we achieve a substantial gain over the state-of-the-art system (Hou et al., 2013) for bridging antecedent selection.

研究の動機と目的

• 標準的な単語埋め込み手法が、参照の橋渡しに必要な関連性（associative relatedness）を捉えられず、意味的類似性（semantic similarity）に偏るという限界を是正すること。
• 名詞句の構文構造を介して、代名詞と先行詞の間の関連性をモデル化する語彙的リソースを開発すること。
• 既存の最先端システムを超えて、参照の橋渡しの先行詞選定性能を向上させること。

提案手法

• 前置詞（X of Y）および所有格（Y’s X）の名詞句構造から文脈を抽出することで単語埋め込みを構築する。
• これらの構文的文脈上で GloVe 埋め込みを学習させ、名詞間の関連関係を符号化する embeddings_PP を生成する。
• 頭語と前修飾語の共通名詞のベクトル平均を用いて、埋め込み空間内での完全な名詞句の表現を実現する。
• embeddings_PP ベクトル間のコサイン類似度を用いて、代名詞と先行詞候補間の関連性を計算する。
• 既存のマルコフ論理ネットワーク（MLN）モデルに embeddings_PP を新たな制約として統合し、共同推論を実施する。
• ISNotes コーパスを用いて、参照の橋渡しのための精度を評価する。

実験結果

リサーチクエスチョン

• RQ1 名詞句の構文構造、特に前置詞的および所有格的構文は、参照の橋渡しに必要な関連性を効果的にモデル化できるか？
• RQ2 これらの構造から得られる embeddings_PP は、GloVe などの標準的な単語埋め込みよりも、参照の橋渡しの分類で優れた性能を示すか？
• RQ3 既存の MLN モデルに embeddings_PP を統合することで、参照の先行詞選定の性能が著しく向上するか？
• RQ4 embeddings_PP の接尾辞 '_PP' は、関連性を適切に捉えるために不可欠な要素か？
• RQ5 頭語のみの表現と比較して、前修飾語を含む完全な名詞句のベクトル表現は、このタスクにおいてどのように優れているか？

主な発見

• embeddings_PP は単体で ISNotes コーパスにおける参照の橋渡しの分類で 30.32% の精度を達成し、元の GloVe_GigaWiki14 モデル（18.10%）と比較して 12.22% の向上を示した。
• 接尾辞 '_PP' を除いたモデル（embeddings_wo_PPSuffix）はわずか 22.17% の精度にとどまり、接尾辞が意図した関連性を捉えるために不可欠であることが示された。
• embeddings_PP を MLN モデル II に統合した結果、性能は 45.85% に向上し、元の MLN モデル II（41.32%）と比較して 4.53% の絶対的向上を達成した。
• GloVe_GigaWiki14 や embeddings_wo_PPSuffix を特徴量として追加すると、MLN モデル II の性能はわずかに低下した。これは、embeddings_PP が独自でかつ補完的な信号を提供していることを示唆している。
• embeddings_PP を用いた頭語と前修飾語のベクトル平均は、完全な名詞句の意味を効果的に表現でき、先行詞選定の性能向上に寄与した。