[論文レビュー] ESA: Entity Summarization with Attention

Dongjun Wei, Yaxin Liu+5 more|arXiv (Cornell University)|May 25, 2019

Topic Modeling参考文献 28被引用数 5

ひとこと要約

本論文では、双方向LSTMとアテンションメカニズムを用いて、要約の質を高めるためにRDF三項対をランク付けする教師あり深層学習モデルであるESA（Entity Summarization with Attention）を提案する。語彙埋め込みを述語に、TransEを目的に用いることで、DBpedia、LinkedMDB、および統合データセットの全範囲でF-measureとMAPにおいて最先端の手法を上回り、トップ5要約において最大7.96%高いF-measureを達成する。

ABSTRACT

Entity summarization aims at creating brief but informative descriptions of entities from knowledge graphs. While previous work mostly focused on traditional techniques such as clustering algorithms and graph models, we ask how to apply deep learning methods into this task. In this paper we propose ESA, a neural network with supervised attention mechanisms for entity summarization. Specifically, we calculate attention weights for facts in each entity, and rank facts to generate reliable summaries. We explore techniques to solve difficult learning problems presented by the ESA, and demonstrate the effectiveness of our model in comparison with the state-of-the-art methods. Experimental results show that our model improves the quality of the entity summaries in both F-measure and MAP.

研究の動機と目的

• 従来のクラスタリングやグラフモデルに依存するが、深層学習を活用しない伝統的なエンティティ要約手法の限界を是正すること。
• 教師ありアテンションを用いて人間の好みをモデル化することで、知識グラフにおけるエンティティ要約の質を向上させること。
• RDF三項対の情報量と関連性に基づき、効果的にランク付けするニューラルネットワークフレームワークを開発すること。
• 統一されたアテンションベースのモデルにおいて、述語に語彙埋め込み、目的に知識グラフ埋め込みを組み合わせることの有効性を実証すること。

提案手法

• エンコーダ・デコーダ構造を有するシーケンス・トゥ・シーケンスアーキテクチャを採用し、エンコーダがBiLSTMと知識表現を用いてRDF三項対を処理する。
• 述語は事前学習済み語彙埋め込みを、目的はTransE知識グラフ埋め込みモデルを用いて埋め込む。
• 教師ありアテンションメカニズムが、学習済み表現に基づき各三項対のアテンション重みを計算し、ESBMベンチマークから得られるゴールドスタンダードアテンションベクトルを用いる。
• アテンション重みを用いて三項対をランク付けし、重みが最も高い上位-k三項対を選択して最終的なエンティティ要約とする。
• ESBM v1.1ベンチマークからの教師信号を用いてエンド・ツー・エンドで学習し、ハイパーパrameterは検証セット上で最適化する。
• 述語と目的を別々にモデル化することで、意味的および関係的情報をよりよく捉える知識表現を強化する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークにおける教師ありアテンションメカニズムは、従来のグラフベースやクラスタリング手法と比較して、エンティティ要約の質を向上させることができるか？
• RQ2 述語に語彙埋め込み、目的にTransEを組み合わせることで、要約のためのRDF三項対表現としてどれほど効果的か？
• RQ3 BiLSTMベースのエンコーダにアテンションを組み合わせることで、標準的なエンティティ要約ベンチマークにおけるF-measureとMAPスコアはどの程度向上するか？
• RQ4 DBpedia や LinkedMDB といった多様な知識グラフに一般化可能であり、高いパフォーマンスを維持できるか？

主な発見

• DBpediaデータセットのトップ5要約において、ESAはF-measure 0.310を達成し、以前のSOTA手法（CD）を0.023上回った。
• DBpediaとLinkedMDBの統合データセットにおいて、ESAはトップ5要約でベースライン最良手法比でF-measureを7.96%、トップ10要約で5.82%向上させた。
• DBpediaのトップ5要約ではMAPスコア0.392、LinkedMDBのトップ5要約では0.367を達成し、すべてのベースラインを最低0.030以上上回った。
• LinkedMDBのk=10において、MAPは最大0.056向上し、ランク付け品質指標における優れた性能を示した。
• すべてのデータセットおよび指標において、RELIN、DIVERSUM、CD、FACES、FACES-E、LinkSUMのすべての比較手法をESAが一貫して上回った。
• 述語に語彙埋め込み、目的にTransEを統合することで、表現品質が顕著に向上し、より正確なアテンション重み付けと優れた要約生成が実現された。