[論文レビュー] Investigations on Knowledge Base Embedding for Relation Prediction and Extraction

Peng Xu, Denilson Barbosa|arXiv (Cornell University)|Feb 6, 2018

Topic Modeling参考文献 15被引用数 5

ひとこと要約

この論文は、関係予測および抽出のための知識ベース埋め込み（KBE）モデル—TransE、DistMult、ComplEx—を評価し、関係予測では優れた性能を示すが、最先端のニューラル関係抽出モデルと組み合わせた場合、顕著な向上が得られないことを示している。主な貢献は、KBEとニューラル関係抽出の両方における最近の進展により、推論時における従来のラテナルフュージョン戦略が効果を示さないことが特定されたことである。これにより、新たな統合手法の開発が求められる。

ABSTRACT

We report an evaluation of the effectiveness of the existing knowledge base embedding models for relation prediction and for relation extraction on a wide range of benchmarks. We also describe a new benchmark, which is much larger and complex than previous ones, which we introduce to help validate the effectiveness of both tasks. The results demonstrate that knowledge base embedding models are generally effective for relation prediction but unable to give improvements for the state-of-art neural relation extraction model with the existing strategies, while pointing limitations of existing methods.

研究の動機と目的

• 従来のKBEモデル—TransE、DistMult、ComplEx—が関係予測および抽出タスクにおいてどの程度有効であるかを評価すること。
• KBEモデルの関係予測および抽出における評価をより適切に行うために、より大規模で複雑なベンチマークを新たに開発すること。
• KBE表現をニューラル関係抽出モデルと統合することで、性能が向上するかどうかを調査すること。
• 現在のKBEとニューラル関係抽出モデルを統合する戦略における制限要因を同定すること。
• 構造化された知識ベース埋め込みとニューラル関係抽出の間で、より効果的な統合手法を導くための今後の研究を支援すること。

提案手法

• 本研究では、4つの既存ベンチマークおよび新たに導入されたより大規模で複雑なベンチマーク上で、3つのKBEモデル—TransE、DistMult、ComplEx—を評価した。
• 関係予測の評価では、'Raw'および'Filter'評価環境下で、Hits@1およびHits@10の指標を用いた。
• 関係抽出のためには、ニューラル関係抽出スコアとKBEランクスコアを重み付き平均で統合するハイブリッドモデルを採用した：$ S(s,\hat{r}_{s,o},o) = \alpha S_{RE}(\hat{r}_{s,o}|\mathcal{S}) + (1-\alpha)f_{\hat{r}_{s,o}}(s,o) $。
• ハイパーパrameter $ \alpha \in (0,1] $ は、テキストベースと知識ベースのスコアのバランスを制御し、$ \alpha=1 $ の場合、元のニューラルモデルと同一である。
• 幾何平均、調和平均、ソフトマックス変換、およびすべてまたは上位の非NA予測の平均化といった、複数の統合戦略を検証した。
• 評価には、異なる $ \alpha $ 値における統合モデルと単体のニューラルモデルの性能を比較するため、精度-再現率曲線を用いた。

実験結果

リサーチクエスチョン

• RQ1 既存のKBEモデルは、ラテナルフュージョン戦略を用いて、最先端のニューラル関係抽出モデルを効果的に改善できるか？
• RQ2 KBEモデルは、新しく導入されたより大規模で複雑な関係予測ベンチマークでどの程度の性能を示すか？
• RQ3 関係予測においてKBEモデルが優れた性能を示すにもかかわらず、なぜ既存の統合戦略は関係抽出の性能向上に寄与しないのか？
• RQ4 推論時におけるKBEとニューラル関係抽出の統合を試みる現在の手法に、どのような制限があるのか？
• RQ5 KBEを関係抽出に効果的に活用するためには、どのような新しい統合戦略が必要か？

主な発見

• ComplExは、すべての関係予測ベンチマークで最良の性能を示し、DistMultを著しく上回り、データセット間で一貫性のある結果を示した。
• TransEは一部のデータセットではComplExと同等の性能を示しており、リンク予測と関係予測のタスク間に固有の差異があることが示唆された。
• KBEスコアとニューラル関係抽出スコアを統合したモデルは、顕著な向上を示さず、むしろ単体のニューラルモデルよりも性能が劣ることが多かった。
• $ \alpha < 1 $ の場合、統合モデルの性能は一貫して劣り、KBEスコアの追加がニューラルモデルの予測を劣化させている可能性を示唆した。
• 代替統合戦略（幾何平均、調和平均、ソフトマックス変換、すべての予測の平均化）も性能向上に寄与せず、場合によっては性能を悪化させた。
• これらの結果から、KBEとニューラル関係抽出の両方における最近の進展により、従来のラテナルフュージョン戦略は効果を示さないことが判明し、新たな統合アプローチの開発が不可避であることが示された。