[論文レビュー] WikiDataSets: Standardized sub-graphs from Wikidata

Armand Boschin, Bonald, Thomas|arXiv (Cornell University)|Jun 11, 2019

Advanced Graph Neural Networks参考文献 11被引用数 4

ひとこと要約

本稿では、再現性のある知識グラフ処理および関係学習の研究を可能にする、ウィキデータから抽出された標準化されたトピック固有の部分グラフであるWikiDataSetsを紹介する。再利用可能なPythonパッケージを用いて、動物、企業、国、映画、人物の5つのデータセットを、再帰的なサブクラス収集と関連する事実のフィルタリングにより生成した。評価では、人物データセットにおいてTransHおよびANALOGYモデルを用いたリンク予測で優れた性能を示した。

ABSTRACT

Developing new ideas and algorithms in the fields of graph processing and relational learning requires public datasets. While Wikidata is the largest open source knowledge graph, involving more than fifty million entities, it is larger than needed in many cases and even too large to be processed easily. Still, it is a goldmine of relevant facts and relations. Using this knowledge graph is time consuming and prone to task specific tuning which can affect reproducibility of results. Providing a unified framework to extract topic-specific subgraphs solves this problem and allows researchers to evaluate algorithms on common datasets. This paper presents various topic-specific subgraphs of Wikidata along with the generic Python code used to extract them. These datasets can help develop new methods of knowledge graph processing and relational learning.

研究の動機と目的

• 関係学習およびグラフアルゴリズムの評価において、不整合で大規模かつ処理が困難なウィキデータの課題に対処すること。
• 既存のベンチマーキングワークフローにおける一時的なデータセットキュレーションによって引き起こされる再現性の問題を軽減すること。
• トピック固有の部分グラフをウィキデータから抽出・利用するための統一的でオープンソースのフレームワークを提供すること。
• 研究者が一貫性があり、文書化が十分で、公開可能なデータセット上で新しいアルゴリズムを評価できるようにすること。

提案手法

• WikiDataSets Pythonパッケージは、トピックまたはそのサブクラスのインスタンスであるウィキデータのすべてのエンティティを特定することで部分グラフを抽出する。
• 最新の全ウィキデータダンプ（latest-all.json.bz2）を処理し、選択されたノードに関係する事実のみを保持し、ラベル付きの関係および属性を維持する。
• パイプラインには3つの主要ステップがある：トピックのサブクラスの取得、選択されたエンティティに基づいてダンプからの事実をフィルタリング、構造化された出力ファイルの作成。
• 各データセットには5つのファイルが出力される：edges.txt（三元組）、attributes.txt（外部事実）、entities.txt（ラベルとウィキデータID）、nodes.txt（エンティティのサブセット）、relations.txt（関係メタデータ）。
• フレームワークは英語でのラベル収集をサポートし、すべてのグラフが完全にラベル付きの知識グラフのままであることを保証する。
• コードはオープンソースであり、PyPIおよびプロジェクトのウェブサイトで公開されており、再利用および拡張が可能である。

実験結果

リサーチクエスチョン

• RQ1 ウィキデータから標準化されたトピック固有の部分グラフを自動生成することで、知識グラフ研究における再現性が向上するか？
• RQ2 従来のベンチマークと比較して、キュレートされたウィキデータ部分グラフ上で既存の知識グラフ埋め込みモデルはどの程度の性能を示すか？
• RQ3 ウィキデータ部分グラフの構造的および関係的性質は、意味的なコミュニティ検出やセマンティック分析にどの程度適しているか？
• RQ4 汎用的で再利用可能なフレームワークは、大規模なオープン知識ベース（例：ウィキデータ）からドメイン固有の知識グラフを抽出する作業をどのように簡素化できるか？

主な発見

• フィルタリングを施した人物データセット（5つ以上の事実を持つエンティティに限定）は、238,376ノードおよび722,993エッジを含み、評価に適した高品質な知識グラフを形成している。
• フィルタリング済みの人物データセットにおいて、ANALOGYモデルはフィルタードHit@10が67.9、フィルタード平均順位が10,147を達成し、TransHを上回った。
• TransHはフィルタードHit@10が61.8、フィルタード平均順位が15,027を記録し、ANALOGYに比べてやや低いが強力な性能を示した。
• 人物データセットに対してLouvainアルゴリズムを用いたコミュニティ検出により、アメリカのアーティストやベトナムの政治的指導者といった意味的に整合性のあるクラスタが明らかになった。3次元の力による配置可視化によりその結果が視覚化された。
• 各データセットにおける上位のエッジタイプはドメイン固有の関係を反映している—例えば、人物データセットでは「子供」、「配偶者」、「父親」が支配的である一方、企業データセットでは「親組織」および「子会社」が顕著に多い。
• WikiDataSetsパッケージは、一貫性があり、ラベル付きで再利用可能な部分グラフの自動生成に成功しており、すべてのデータセットおよびコードが研究利用のために公開済みである。