[論文レビュー] Deep Learning for Ontology Reasoning

Patrick Hohenecker, Thomas Lukasiewicz|arXiv (Cornell University)|May 29, 2017

Semantic Web and Ontologies参考文献 7被引用数 30

ひとこと要約

この論文では、再帰的ニューラルネットワーク（RTN）モデルを用いた深層学習ベースのオントロジー推論手法を提案している。この手法は、RDFoxのような従来の論理ベースの推論器と比較して最大100倍高速でありながら、高い推論精度を達成している。本手法はエンティティおよび関係の分散表現を学習し、GPU上のベクトル空間演算により大規模なオントロジー知識ベースにおける効率的な推論を可能にしている。

ABSTRACT

In this work, we present a novel approach to ontology reasoning that is based on deep learning rather than logic-based formal reasoning. To this end, we introduce a new model for statistical relational learning that is built upon deep recursive neural networks, and give experimental evidence that it can easily compete with, or even outperform, existing logic-based reasoners on the task of ontology reasoning. More precisely, we compared our implemented system with one of the best logic-based ontology reasoners at present, RDFox, on a number of large standard benchmark datasets, and found that our system attained high reasoning quality, while being up to two orders of magnitude faster.

研究の動機と目的

• 深層学習を活用することで、記号論理ベースのオントロジー推論におけるスケーラビリティおよびロバストネスの課題を解決すること。
• 従来の形式的推論器よりも、不完全、矛盾、または不確実なデータをより効果的に処理できる統計的関係学習モデルを構築すること。
• 高精度な推論を維持しながら、深層ニューラルネットワークを用いて高速かつスケーラブルなオントロジー推論を実現すること。
• 提案手法を、大規模で実世界の知識ベースベンチマークにおいて、最先端の論理ベースの推論器と比較して評価すること。

提案手法

• 本手法は、オントロジー知識ベース内のエンティティおよび関係の分散ベクトル表現を学習する再帰的ニューラルネットワーク（RTN）を採用している。
• RTNは論理式を木構造の計算グラフとして処理し、部分式の表現を再帰的に統合して高レベルの表現を形成する。
• 推論は、埋め込みベクトル間の類似度スコアを計算することで実行され、記号データ上でエンドツーエンド微分可能な推論が可能になる。
• モデルは知識ベース全体ではなくオントロジーそのもののみで学習されるため、システムセットアップのステップとして事前学習が可能である。
• 推論は、論理ベースのシステムにおける記号的推論とは対照的に、GPU上で効率的なベクトル演算によって実行される。
• フレームワークは、統一された埋め込み空間内で一価（クラス所属）および二価（関係）述語推論を両立可能としている。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワークに基づく深層学習モデルは、大規模なオントロジー知識ベースにおいて、論理ベースの推論器と同等の推論性能を達成できるか？
• RQ2 RDFoxのような最先端の論理ベースの推論器と比較して、提案手法の推論速度はどのようにスケーリングするか？
• RQ3 学習された埋め込みは、表現力の高いオントロジーにおける複雑な論理的関係の意味をどの程度捉えられるか？
• RQ4 実世界のデータセットにおけるクラスや関係の不均衡にもかかわらず、モデルは高い精度を維持できるか？

主な発見

• 提案されたNeTSシステムは、Clarosデータセットで平均F1スコア0.954、DBpediaで0.959、LUBMで0.948、OUBMで0.953を達成し、優れた推論精度を示した。
• 4つのベンチマークデータセットすべてにおいて、一価述語の平均精度が96％以上、二価述語の平均精度が95％以上に達しており、堅牢な性能を示した。
• NeTSは、RDFoxと比較して物質化段階で最大100倍の高速化を達成した。推論時間は28〜11秒であったのに対し、RDFoxは2062〜467秒を要した。
• RDFoxはデータインポート段階で速かった（例：Clarosでは48秒対242秒）が、頻繁なデータ更新が想定される実用的状況では、NeTSの物質化段階の高速性が優位に立つ。
• RTNモデルの学習段階は1データセットあたり3〜4日を要したが、これはオンライン推論とは別に一回限りのセットアップコストと見なされる。
• 結果から、深層学習ベースの推論は、論理ベースの推論と同等またはそれを上回る精度を達成できる一方で、大規模な知識ベースにおいては著しく高速であることが示された。