[論文レビュー] Knowledge Graph Representation with Jointly Structural and Textual Encoding

Jiacheng Xu, Kan Chen+2 more|arXiv (Cornell University)|Nov 26, 2016

Advanced Graph Neural Networks参考文献 20被引用数 16

ひとこと要約

本論文は、ゲート付き融合機構と注意ベースのLSTMを用いて、知識グラフ内の構造的およびテキスト的情報を統合的に符号化する深層学習フレームワークを提案する。モデルはリンク予測およびトリプル分類において最先端手法を上回り、WN18では97.8%、FB15Kでは91.5%の精度を達成し、エントリの頻度が低い場合に構造的信号とテキスト的信号のバランスを動的にとることで、スパースなエンティティに対する優れた性能を示した。

ABSTRACT

The objective of knowledge graph embedding is to encode both entities and relations of knowledge graphs into continuous low-dimensional vector spaces. Previously, most works focused on symbolic representation of knowledge graph with structure information, which can not handle new entities or entities with few facts well. In this paper, we propose a novel deep architecture to utilize both structural and textual information of entities. Specifically, we introduce three neural models to encode the valuable information from text description of entity, among which an attentive model can select related information as needed. Then, a gating mechanism is applied to integrate representations of structure and text into a unified architecture. Experiments show that our models outperform baseline by margin on link prediction and triplet classification tasks. Source codes of this paper will be available on Github.

研究の動機と目的

• 構造的 fact が十分に存在しない低頻度またはスパースなエンティティの表現を扱う課題に取り組む。
• エンティティの構造的およびテキスト的表現を統一的かつ適応的なベクトル空間に統合する。
• エンティティの頻度および関係の文脈に基づいて、構造とテキストの寄与を動的にバランスさせるメカニズムを開発する。
• 意味的整合性を損なわずに、豊富なテキスト記述を活用することで、知識グラフ補完タスクを改善する。

提案手法

• 構造的埋め込み（TransE からのもの）とテキスト的埋め込みを組み合わせるゲート付き融合機構を用い、2つの情報源間の動的バランスを学習する。
• エンティティの説明から関係固有の情報を選択的に抽出するための注意ベースのLSTMエンコーダを採用し、関連性と文脈認識能力を向上させる。
• ベースラインとして連続的バッグ・オブ・ワーズ（CBOW）および畳み込みニューラルネットワーク（CNN）を用いたテキスト符号化を実施。文脈モデリングを改善するための拡張版注意-LSTMを提案。
• 最終的なエンティティ表現を、学習可能なゲートを介して構造的埋め込みとテキスト的埋め込みの重み付き和として定義。スコア関数はTransEに基づく。
• リンク予測とトリプル分類の両方を最適化するための統合損失関数を用いて、エンドツーエンドでモデルを学習する。
• 各関係ごとにしきい値ベースの分類戦略を適用し、トリプル分類のパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 構造的およびテキスト的表現を統合的に学習することで、スパースなエンティティの知識グラフ埋め込みが向上するか？
• RQ2 ニューラルモデルは、エンティティの頻度および関係の文脈に基づいて、構造的およびテキスト的情報のバランスを動的にとることができるか？
• RQ3 エンティティの説明から関係固有のコンテンツを選択する注意機構は、固定符号化手法よりも優れた性能を発揮するか？
• RQ4 ゲート付き融合機構は、固定重みまたは別々の最適化戦略を用いる手法を上回ることができるか？

主な発見

• 提案されたモデル、特に 'Jointly(A-LSTM)' は、WN18のトリプル分類ベンチマークで97.8%の精度を達成し、ベースラインおよび最先端手法を顕著に上回った。
• より大きなFB15Kデータセットでは、モデルはトリプル分類で91.5%の精度に達し、既存のアプローチに対して顕著な改善を示した。
• ゲート機構は低頻度エンティティに対してテキスト的表現の重要性を高く割り当てており、知識ベースのスパarsity緩和におけるその役割を裏付けた。
• 注意機構は、関係数が多いFB15Kにおいて性能を向上させたことから、複雑で多様な関係的文脈においてその価値が確認された。
• 全指標においてベースライン手法を一貫して上回り、適応的ゲーティングを用いた統合符号化の有効性を示した。