[論文レビュー] Probability Calibration for Knowledge Graph Embedding Models

Pedro Tabacof, Luca Costabello|arXiv (Cornell University)|Dec 20, 2019

Advanced Graph Neural Networks参考文献 38被引用数 15

ひとこと要約

本稿では、合成されたネガティブ例を用いたプラットスケーリングおよび等方回帰を用いた、知識グラフ埋め込みモデルのための新規キャリブレーション手法を提案する。これにより、真のネガティブ例が利用できない状況でも信頼性のある確率推定が可能になる。実験では、関係固有の意思決定閾値を必要とせず、三元組分類において最先端の精度を達成するキャリブレーション済みモデルの有効性を示している。

ABSTRACT

Knowledge graph embedding research has overlooked the problem of probability calibration. We show popular embedding models are indeed uncalibrated. That means probability estimates associated to predicted triples are unreliable. We present a novel method to calibrate a model when ground truth negatives are not available, which is the usual case in knowledge graphs. We propose to use Platt scaling and isotonic regression alongside our method. Experiments on three datasets with ground truth negatives show our contribution leads to well-calibrated models when compared to the gold standard of using negatives. We get significantly better results than the uncalibrated models from all calibration methods. We show isotonic regression offers the best the performance overall, not without trade-offs. We also show that calibrated models reach state-of-the-art accuracy without the need to define relation-specific decision thresholds.

研究の動機と目的

• 予測確率が真の信頼度を反映しないという、知識グラフ埋め込みモデルにおける確率のキャリブレーション不足という見過ごされがちな問題に対処する。
• 知識グラフのオープンワールド仮定のもとで、真のネガティブ例が存在しない状況でも効果的に機能するキャリブレーション手法を開発する。
• 関係固有の意思決定閾値に依存せずに、下流タスク（例：三元組分類）における信頼性の高い確率予測を可能にする。
• 真のネガティブ例の有無にかかわらず、実世界の知識グラフデータセットを用いて、プラットスケーリングおよび等方回帰のキャリブレーション技術の性能を評価する。
• キャリブレーション済みモデルが、追加のモデルチューニングや関係固有の閾値学習なしに最先端の精度を達成できることを示す。

提案手法

• raw logitsをwell-calibratedな確率に変換するために、プラットスケーリングおよび等方回帰を用いてモデル出力をキャリブレートする。
• 真のネガティブ例が利用できない場合に備え、検証セットからの正例ベースレートを用いて、合成ネガティブサンプルを生成するためのヒューリスティックを導入する。
• 検証セットの半分を用いてモデルをキャリブレートし、真のネガティブ例を合成ネガティブ例に置き換えることで、キャリブレーション性能を維持する。
• 評価時には閉世界仮定を適用し、未観測の三元組をネガティブとみなす。
• キャリブレーション後、三元組分類に一様な閾値τ = 0.5を用いることで、関係固有の閾値を排除する。
• 信頼性図と期待キャリブレーション誤差（ECE）を用いてキャリブレーション性能を評価し、真のネガティブ例を用いたゴールドスタンダードキャリブレーションと未キャリブレーションベースラインを比較する。

実験結果

リサーチクエスチョン

• RQ1 実世界の知識グラフで一般的な真のネガティブ例が利用できない状況でも、知識グラフ埋め込みモデルを効果的にキャリブレーションできるか？
• RQ2 合成ネガティブサンプリング下で、プラットスケーリングと等方回帰は、知識グラフ埋め込みモデルのキャリブレーションにおいてどのように比較されるか？
• RQ3 キャリブレーションにより、すべての関係で一様な、普遍的な意思決定閾値（τ = 0.5）を用いた三元組分類が可能になるか？関係固有の閾値の必要性がなくなるか？
• RQ4 期待キャリブレーション誤差と信頼性図を用いて測定した場合、キャリブレーションは確率推定の信頼性をどの程度向上させるか？
• RQ5 追加のモデルチューニングや関係固有の閾値学習なしに、キャリブレーション済みモデルは三元組分類で最先端の性能を達成できるか？

主な発見

• 等方回帰は、期待キャリブレーション誤差の観点から、すべてのデータセットで最も優れたキャリブレーション性能を示し、プラットスケーリングおよび未キャリブレーションモデルを著しく上回った。
• 検証セットの半分しかキャリブレーションに使用せず、真のネガティブ例を合成ネガティブ例に置き換えたとしても、本手法はwell-calibratedな確率推定を達成した。
• キャリブレーション済みモデルは、τ = 0.5という一様な閾値を用いてWN11で88.9のF1スコアを達成し、関係固有の閾値を用いたモデルと同等またはそれを上回る最先端の精度を達成した。
• 未キャリブレーションモデルはτ = 0.5で著しく性能が低く、信頼性のある閾値決定にはキャリブレーションの必要性が浮き彫りになった。
• 本手法は、3つのデータセット（WN11, FB13, YAGO39K）で評価された4つのモデル（TransE, DistMult, ComplEx, HolE）すべてに対して、未キャリブレーションモデルより顕著にキャリブレーション性能を向上させた。
• 信頼性図の結果から、未キャリブレーションモデルは系統的にキャリブレーションがずれていることが明らかになった—TransEは過小予測を示し、ComplExは損失関数に応じて過小・過大予測を示す場合があった。