[論文レビュー] On embeddings as an alternative paradigm for relational learning.

Sebastijan Dumančić, Alberto García-Durán+1 more|arXiv (Cornell University)|Jun 29, 2018

Advanced Graph Neural Networks被引用数 2

ひとこと要約

この論文は、マルチリレーションナナル知識グラフ上で、表現学習（埋め込みベース）と記号的関係学習を比較し、分類およびクラスタリングタスクにおける性能を評価している。結果として、埋め込みモデルが複雑なルールを暗黙的に学習していることが示され、グラフ構造とタスク要件に基づいたパラダイム選択の指標が提示された。

ABSTRACT

Many real-world domains can be expressed as graphs and, more generally, as multi-relational knowledge graphs. Though reasoning and learning with knowledge graphs has traditionally been addressed by symbolic approaches, recent methods in (deep) representation learning has shown promising results for specialized tasks such as knowledge base completion. These approaches abandon the traditional symbolic paradigm by replacing symbols with vectors in Euclidean space. With few exceptions, symbolic and distributional approaches are explored in different communities and little is known about their respective strengths and weaknesses. In this work, we compare representation learning and relational learning on various relational classification and clustering tasks and analyse the complexity of the rules used implicitly by these approaches. Preliminary results reveal possible indicators that could help in choosing one approach over the other for particular knowledge graphs.

研究の動機と目的

• マルチリレーションナナル知識グラフタスクにおける埋め込みベースと記号的関係学習の相対的な強みと弱みを評価すること。
• 埋め込みモデルが暗黙的に学習するルールの複雑さを、明示的な記号的ルールと比較して分析すること。
• 一方のパラダイムを他方よりも優位にする知識グラフの特徴を同定すること。
• 分布的アプローチと記号的アプローチの間での選択に実証的指針を提供すること。

提案手法

• 共有の関係分類およびクラスタリングベンチマーク上で、埋め込みベースのモデル（例：TransE, DistMult）と記号的関係学習手法（例：ILP, AMIE）を用いる。
• エンティティおよび関係をベクトル空間表現で符号化し、記号論理を密な分散表現に置き換える。
• ルールマイニング技術を用いて、埋め込みモデルが学習する暗黙の論理的ルールを抽出および分析する。
• 標準的な知識グラフベンチマークを用い、標準的な指標（例：正確度、F1スコア）で性能を評価する。
• グラフの構造的性質（例：密度、関係の多様性）を分析し、モデルの性能と相関をとらえる。

実験結果

リサーチクエスチョン

• RQ1 関係分類およびクラスタリングタスクにおいて、埋め込みベースのパラダイムと記号的関係学習のどちらが優れているか？
• RQ2 埋め込みモデルが学習する暗黙のルールの複雑さはどの程度で、明示的に学習された記号的ルールと比べてどうか？
• RQ3 どのグラフレベルの特徴が、一方のアプローチが他方よりも優れた性能を示すかを予測するか？
• RQ4 埋め込みモデルは、明示的にマイニングされた記号的ルールと同等の表現力や効果を持つルールを暗黙的に学習できるか？

主な発見

• 埋め込みモデルは、関係分類およびクラスタリングタスクで競争的な性能を示し、特定のベンチマークでは記号的手法を上回ることもしばしばある。
• 埋め込みが学習する暗黙のルールは、非自明な複雑さを示しており、明示的なルールマイニングなしに意味のある関係的パターンを捉えていることが示唆される。
• グラフ構造、特に関係の多様性と密度が、どのパラダイムがより優れた性能を示すかを予測する重要な要因となる。
• 記号的手法はより解釈可能で一般化可能なルールを生成する傾向があるが、埋め込みモデルはスケーラビリティとスパース関係の処理において優れている。