[論文レビュー] Two Discourse Driven Language Models for Semantics

Haoruo Peng, Dan Roth|arXiv (Cornell University)|Jun 17, 2016

Topic Modeling参考文献 42被引用数 6

ひとこと要約

本稿では、ニューラル埋め込みを用いて意味フレームと話法マークアップを要約することで、深い意味的知識を捉える二つの話法駆動型意味的言語モデル—Frame-Chain SemLM および Entity-Centered SemLM—を提案する。周囲の文脈理解の向上を目的として、パープレキシティおよび物語の穴埋めテストを用いた評価が行われ、共参照解決および簡易話法解析への応用において、特に対数線形埋め込みと話法に配慮したモデリングを用いることで、最先端の性能が向上した。

ABSTRACT

Natural language understanding often requires deep semantic knowledge. Expanding on previous proposals, we suggest that some important aspects of semantic knowledge can be modeled as a language model if done at an appropriate level of abstraction. We develop two distinct models that capture semantic frame chains and discourse information while abstracting over the specific mentions of predicates and entities. For each model, we investigate four implementations: a "standard" N-gram language model and three discriminatively trained "neural" language models that generate embeddings for semantic frames. The quality of the semantic language models (SemLM) is evaluated both intrinsically, using perplexity and a narrative cloze test and extrinsically - we show that our SemLM helps improve performance on semantic natural language processing tasks such as co-reference resolution and discourse parsing.

研究の動機と目的

• 文法的構造を越えた深い意味的知識を、述語とエンティティを要約することでモデル化すること。
• 話法マークアップと意味フレームチェーンを言語モデルに統合し、文脈理解を向上させること。
• 意味的言語モデル（SemLM）が、共参照解決や話法解析などの下流タスクにおける性能向上に寄与するかどうかを評価すること。
• 話法情報が意味的モデリングの質と下流タスクの性能に与える影響を調査すること。
• 意味フレームのニューラル埋め込みが、意味的言語モデリングにおける一般化能力と表現力の向上に寄与することを示すこと。

提案手法

• Frame-Chain SemLM は、意味フレームと話法マークアップの系列を、PropBank/FrameNetの意味ラベルを用いて連鎖的にモデル化する。
• Entity-Centered SemLM は、個々の共参照チェーン内でのフレーム系列をモデル化し、フレームに引数役割（例：'rob.01#obj'）を付与する。
• 4つの実装が用いられる：n-gram、skip-gram、連続的bag-of-words、対数線形ニューラル言語モデル。後三つはフレーム埋め込みを生成する。
• 訓練済み SemLM からの条件付き確率と埋め込みが、共参照解決や話法解析などの下流タスクの特徴として用いられる。
• モデルは New York Times および Ontonotes/PropBank アノテーション付きデータ上で訓練・評価され、話法マークアップを除去するアブレーションスタディにより、その必要性が検証される。
• 評価にはパープレキシティ、物語の穴埋めテスト、および ACE04、CoNLL12、CoNLL16 といった標準ベンチマークを用いた共参照および話法解析への応用が用いられる。

実験結果

リサーチクエスチョン

• RQ1 話法に配慮した意味的言語モデルは、文法的パターンを越えたより深い意味的知識を捉えることができるか？
• RQ2 異なるニューラル言語モデルアーキテクチャ（例：対数線形、skip-gram）は、意味フレームと話法マークアップをモデル化する際に、どのように性能を発揮するか？
• RQ3 話法マークアップを統合することで、意味的言語モデルの質と実用性はどの程度向上するか？
• RQ4 SemLM 特徴は、共参照解決および簡易話法解析における最先端の性能を向上させることができるか？
• RQ5 話法情報の組み込みは、効果的な意味的言語モデリングにとって不可欠であるか？

主な発見

• CoNLL12 データセットにおける共参照解決において、対数線形 SemLM の実装が、ベースラインの三文語モデルに対して 0.4–0.5 F1 ポints の向上を達成した。
• 対数線形埋め込みを用いたエンティティ中心の SemLM 特徴は、CoNLL12 で報告された最高性能を上回り、最先端の性能を示した。
• 訓練時に話法マークアップを除去した場合、性能が低下した。これは、話法情報が効果的な意味的モデリングにとって不可欠であることを裏付けた。
• SemLM は、明示的および暗黙的な話法接続詞の意味分類の両方で性能を向上させ、特に明示的接続詞で顕著な向上が見られた。
• SemLM からのフレーム埋め込みと条件付き確率特徴は、話法解析の結果を顕著に向上させ、特に対数線形モデルと組み合わせた場合に顕著であった。
• パープレキシティと物語の穴埋めテストの結果から、SemLM が意味的および話法的構造に対して高品質な要約と一般化を達成していることが確認された。