[論文レビュー] Probabilistic Models of Relational Implication

Xavier Holt|arXiv (Cornell University)|Jul 28, 2019

Complex Network Analysis Techniques参考文献 20被引用数 14

ひとこと要約

本稿では、経験的分布推定器とリンク予測モデルを用いて、関係的含意の形式的確率的枠組みを提案する。再アノテートされた17,848件のデータセット上で、SOTA性能を0.7812から0.8143 AUCに著しく向上させ、専門家による再アノテーションと新規のクラウドソーシングスキームを用いることで、精度を53%から95%に向上させた。

ABSTRACT

Relational data in its most basic form is a static collection of known facts. However, by learning to infer and deduct additional information and structure, we can massively increase the usefulness of the underlying data. One common form of inferential reasoning in knowledge bases is implication discovery. Here, by learning when one relation implies another, we can extend our knowledge representation. There are several existing models for relational implication, however we argue they are motivated but not principled. To this end, we define a formal probabilistic model of relational implication. By using estimators based on the empirical distribution of our dataset, we demonstrate that our model outperforms existing approaches. While previous work achieves a best score of 0.7812 AUC on an evaluatory dataset, our ProbE model improves this to 0.7915. Furthermore, we demonstrate that our model can be improved substantially through the use of link prediction models and dense latent representations of the underlying argument and relations. This variant, denoted ProbL, improves the state of the art on our evaluation dataset to 0.8143. In addition to developing a new framework and providing novel scores of relational implication, we provide two pragmatic resources to assist future research. First, we motivate and develop an improved crowd framework for constructing labelled datasets of relational implication. Using this, we reannotate and make public a dataset comprised of 17,848 instances of labelled relational implication. We demonstrate that precision (as evaluated by expert consensus with the crowd labels) on the resulting dataset improves from 53% to 95%.

研究の動機と目的

• 既存の関係的含意モデルにおける原理的確率的基盤の欠如に取り組む。
• 現在、低精度に悩まされている、関係的含意データセットの品質と信頼性を向上させる。
• トレーニングおよびチューニングのためのスケーラブルで最適化されたフレームワークを構築し、リンク予測モデルの性能を向上させる。
• リンク予測と確率的モデリングを統合することで、関係的含意タスクにおける性能が著しく向上することを示す。
• 今後の関係的推論および知識ベース補完分野の研究を支援するため、オープンソースのツールと再アノテート済みデータセットを提供する。

提案手法

• 本稿では、リンク予測に依存せず、データセットからの経験的頻度を用いて含意確率を推定する確率的モデルProbEを導入する。
• 関係的含意を条件付き確率 P(Z_r=1 | Z_p=1) として定式化する。ここで、Z_r と Z_p はそれぞれ関係 r と前提 p の真偽を示す。
• リンク予測モデルを関係タプルの同時確率の推定器として用いることで、モデルの表現力が向上する。
• ラベル品質を向上させるため、専門家によるコンセンサスを用いた新しい的を絞ったクラウドアノテーションフレームワークを考案し、17,848件のインスタンスを再アノテートした。
• フレームワークは、リンク予測埋め込みと確率的モデルを統合したProbLに拡張され、引数および関係の密な潜在表現が用いられる。
• ハイパーパramータチューニングとスケーラビリティをサポートする、最適化され並列化されたリンク予測モデルの実装を提供する。

実験結果

リサーチクエスチョン

• RQ1 関係的含意の形式的確率的モデルは、従来のヒューリスティック的または非確率的アプローチを上回ることができるか？
• RQ2 リンク予測モデルは、関係的含意システムの性能をどの程度向上させることができるか？
• RQ3 既存の関係的含意データセットの品質を体系的に改善する方法は何か？
• RQ4 スケーラブルでモジュラーなリンク予測フレームワークを構築し、高精度な含意モデリングを支援できるか？
• RQ5 専門家による検証済み再アノテート済みデータセットを用いることで、モデルの性能と信頼性にどのような影響を与えるか？

主な発見

• ProbEモデルは、ベンチマークデータセット上でSOTAの0.7812を上回るAUC 0.7915を達成した。
• リンク予測と確率的フレームワークを統合したProbLモデルは、AUC 0.8143を達成し、先行研究に比べ顕著な向上を示した。
• 新規の専門家コンセンサスフレームワークを用いた再アノテーションにより、データセットの精度が53%から95%に向上した。
• 17,848件のインスタンスからなる再アノテート済みデータセットは、今後の研究を支援するため公開された。
• 最適化され並列化されたリンク予測フレームワークにより、効率的なハイパーパramータチューニングが可能となり、複数の既存モデルをサポートした。
• 確率的フレームワークにより、合成的推論（例：P(Z_r=1 | Z_p=1, Z_q=1)）が可能となり、P(Z_q=0 | Z_p=1) といった否定的含意の推論も可能になった。