[論文レビュー] Reasoning over RDF Knowledge Bases using Deep Learning

Monireh Ebrahimi, Md Kamruzzaman Sarker+4 more|arXiv (Cornell University)|Nov 9, 2018

Semantic Web and Ontologies参考文献 21被引用数 11

ひとこと要約

本稿では、位置符号化と正規化表現を用いて、RDF知識グラフ上で記号的帰納的推論を模倣するメモリネットワークベースの深層学習モデルを提案する。このモデルは、再訓練を必要とせず、ドメインを跨いで一般化可能であり、非正規化ベースラインを上回る高い正確性と再現率を達成し、未知語彙のエンティティに対しても強力な汎用性と耐障害性を示す。

ABSTRACT

Semantic Web knowledge representation standards, and in particular RDF and OWL, often come endowed with a formal semantics which is considered to be of fundamental importance for the field. Reasoning, i.e., the drawing of logical inferences from knowledge expressed in such standards, is traditionally based on logical deductive methods and algorithms which can be proven to be sound and complete and terminating, i.e. correct in a very strong sense. For various reasons, though, in particular, the scalability issues arising from the ever-increasing amounts of Semantic Web data available and the inability of deductive algorithms to deal with noise in the data, it has been argued that alternative means of reasoning should be investigated which bear high promise for high scalability and better robustness. From this perspective, deductive algorithms can be considered the gold standard regarding correctness against which alternative methods need to be tested. In this paper, we show that it is possible to train a Deep Learning system on RDF knowledge graphs, such that it is able to perform reasoning over new RDF knowledge graphs, with high precision and recall compared to the deductive gold standard.

研究の動機と目的

• 大規模なRDF知識グラフにおけるスケーラビリティとノイズデータへの耐性という、従来の記号的推論の限界を解消すること。
• 類似度に基づく誘導に依存するのではなく、帰納的推論を模倣する深層学習モデルの開発。
• 微調整や再訓練なしに、新しいドメインに対してゼロショットで推論能力を転送可能にする。
• 正規化表現学習により、未知語彙のエンティティに対する一般化性能の向上。
• 神経アーキテクチャを用いて長距離の推論パスを学習する可能性の検証。

提案手法

• メモリに格納された明示的知識に対して、マルチホップアテンションを実行するエンドツーエンドのメモリネットワーク（MemN2N）を採用し、論理的推論ステップを模倣する。
• エンティティおよび関係の埋め込みに対する正規化技術を導入し、表現の安定性と推論性能を向上させる。
• RDF三項組の主語-述語-目的語の順序を保持するため、位置符号化を適用し、構造的認識を強化する。
• 論理的含意（含意あり vs 含意なし）を予測するスコアリング目的関数を用いて、RDF三項組上でエンドツーエンドでモデルを訓練する。
• t-SNEおよびPCAの可視化を用いて、学習された埋め込みの幾何学的および意味的クラスタリングを分析する。
• 位置符号化を削除することで、モデル性能への影響を評価するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 1つのRDF知識グラフで訓練された深層学習モデルが、再訓練なしに全く異なるドメインのRDF知識グラフにおいて正確な論理的推論を実行できるか？
• RQ2 位置符号化は、RDF三項組の構造から学習・一般化する能力にどのように影響するか？
• RQ3 神経ネットワークモデルが幾何的類似性に依存するのではなく、記号的帰納的推論をどの程度模倣できるか？
• RQ4 埋め込みの正規化は、推論性能および未知語彙のエンティティに対する耐障害性にどのように影響するか？
• RQ5 モデルは長距離の推論パスを学習する能力をどの程度有しているか？また、データ分布はその能力にどのように影響するか？

主な発見

• 提案モデルは、OWL-Centric Datasetで95%のF-measureを達成し、非正規化ベースラインを上回り、ドメインを跨ぐ強力な一般化性能を示した。
• 位置符号化を削除すると、精度が著しく低下する（例：合成データで73%から52%に低下）、構造的推論における重要性が確認された。
• ゼロショットドメインに対しても、再訓練や微調整なしに、高い正確性と再現率を維持して効果的に一般化した。
• 長距離パスの訓練データが限られているにもかかわらず、メモリネットワークの固有の能力のおかげで、10ホップ以上の推論に潜在的な能力を示した。
• アブレーションスタディの結果、位置符号化を削除した場合、すべてのゼロパディングトークンが誤って負例として分類された。これは、構造的認識に位置符号化が果たす役割を強調している。
• 可視化結果から、正規化された埋め込みは意味空間において意味的なクラスタを形成しており、効果的な推論を支援していることが示された。