[論文レビュー] Equivariant Entity-Relationship Networks

Devon R. Graham, Wang, Junhao+1 more|arXiv (Cornell University)|Mar 21, 2019

Advanced Graph Neural Networks参考文献 65被引用数 5

ひとこと要約

本稿では、関係データにおけるエンティティおよび関係の対称性に同等性を活用する深層学習モデル、等長的エンティティ・リレーションシップネットワーク（EERN）を提案する。関係データベースを結合されたスパーステンソルとしてモデル化し、エンティティインスタンスの置換に対して不変な線形層を設計することで、EERNは、CMTF（結合行列テンソル分解）でさえも厳密なデータ仮定のもとで優れる、欠損レコード予測において最先端の性能を達成する。

ABSTRACT

The relational model is a ubiquitous representation of big-data, in part due to its extensive use in databases. In this paper, we propose the Equivariant Entity-Relationship Network (EERN), which is a Multilayer Perceptron equivariant to the symmetry transformations of the Entity-Relationship model. To this end, we identify the most expressive family of linear maps that are exactly equivariant to entity relationship symmetries, and further show that they subsume recently introduced equivariant maps for sets, exchangeable tensors, and graphs. The proposed feed-forward layer has linear complexity in the data and can be used for both inductive and transductive reasoning about relational databases, including database embedding, and the prediction of missing records. This provides a principled theoretical foundation for the application of deep learning to one of the most abundant forms of data. Empirically, EERN outperforms different variants of coupled matrix tensor factorization in both synthetic and real-data experiments.

研究の動機と目的

• エンティティ・リレーションシップ（ER）モデルの固有の対称性を尊重する深層学習フレームワークの開発。これにより、入力の置換に対して予測が一貫して変化するよう保証する。
• データ構造に関する強い生成的仮定に依存する既存手法（例：結合行列テンソル分解（CMTF））の限界を克服すること。
• エンティティインスタンスの置換に対して不変な一般化可能な表現を学習することで、関係データベースにおける帰納的および転移的推論を可能にすること。
• 入力サイズに線形にスケーリングする理論的根拠に基づいた、パラメータ効率の良いアーキテクチャを提供すること。
• 特に低データ量または分布外の設定において、同等性の導入が予測性能を向上させることの有効性を示すこと。

提案手法

• 関係データベースを、各関係またはエンティティ属性に対応する複数の結合されたスパーステンソルとして表現する。
• エンティティインスタンスの置換によってすべてのテンソルにおいて関係構造が保持される変換を、対称性変換として定義する。
• 群表現理論を用いて、これらの対称性に対して正確に同等性を満たす線形写像の最大族を理論的に導出する。
• エンティティインスタンス間で重みを共有（重みの縛り）する構造を持つフィードフォワード層を構築し、定義された対称性の下での同等性を保証する。
• 非線形活性化関数を介して複数の同等性保持層をスタックし、自己符号化による再構成を目的関数として学習する深層マルチレイヤーパーセプトロン（EERN）を構築する。
• プーリングおよびブロードキャスト操作を用いて、重み行列の動的リサイズを可能とし、学習時に未観測のエンティティに対しても帰納的推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エンティティ・リレーションシップモデルの対称性に対して正確に同等性を満たす線形写像の完全かつ最大の族を導出できるか？
• RQ2 標準的なベースラインと比較して、深層学習モデルに同等性を組み込むことで、関係推論タスクにおける性能がどの程度向上するか？
• RQ3 同等性を持つモデルは、再訓練なしに、学習時に見られなかった新たなエンティティインスタンス（帰納的設定）に対してどの程度一般化できるか？
• RQ4 複数の関係からの補助情報（サイド情報）を活用することで、ターゲット関係の欠損エントリの予測精度が向上するか？
• RQ5 CMTFの厳密な要因分解仮定が成り立つ状況でも、同等性を持つモデルがCMTFを上回ることができるか？

主な発見

• CMTFの要因分解仮定が満たされる状況下でも、合成および実世界のデータセットにおいてEERNはCMTFを上回る性能を示す。
• 学習時に全く新しいエンティティが登場する帰納的設定においても、強力な性能を達成しており、転送性の高さを示している。
• 関連する関係（例：学生-教授およびコース-教授テーブル）からの補助情報を組み込むことで、学生-コース関係の予測精度が顕著に向上する。
• 訓練データの増加に伴い予測誤差が減少し、再訓練なしにテスト時データを追加することでさらに誤差を低減できる。これにより、モデルの適応性が顕著に示された。
• スパarsityレベルの変化に関わらず一貫した性能を維持しており、訓練時またはテスト時に観測されるデータ量が増えるほど、平均二乗誤差（RMSE）が低下する。
• 埋め込みの可視化から、予測された埋め込みと入力埋め込みが局所構造を保持していることが確認され、EERNが意味的で一般化可能な表現を学習していることが示された。