[論文レビュー] CascadER: Cross-Modal Cascading for Knowledge Graph Link Prediction

Tara Safavi, Doug Downey+1 more|arXiv (Cornell University)|May 16, 2022

Advanced Graph Neural Networks被引用数 5

ひとこと要約

CascadER は、段階的に洗練された言語モデル (LM) を用いて知識グラフ埋め込み (KGE) を再順序付けすることで、知識グラフのリンク予測を向上させるクロスモodalな段階的アーキテクチャを提案する。高価な LM 推論を適応的サブセット選択によって最小限に抑え、SOTA の MRR 向上を最大 9 ポイント達成するとともに、完全アンサンブルベースラインと比較して推論コストを 10 倍以上削減する。

ABSTRACT

Knowledge graph (KG) link prediction is a fundamental task in artificial intelligence, with applications in natural language processing, information retrieval, and biomedicine. Recently, promising results have been achieved by leveraging cross-modal information in KGs, using ensembles that combine knowledge graph embeddings (KGEs) and contextual language models (LMs). However, existing ensembles are either (1) not consistently effective in terms of ranking accuracy gains or (2) impractically inefficient on larger datasets due to the combinatorial explosion problem of pairwise ranking with deep language models. In this paper, we propose a novel tiered ranking architecture CascadER to maintain the ranking accuracy of full ensembling while improving efficiency considerably. CascadER uses LMs to rerank the outputs of more efficient base KGEs, relying on an adaptive subset selection scheme aimed at invoking the LMs minimally while maximizing accuracy gain over the KGE. Extensive experiments demonstrate that CascadER improves MRR by up to 9 points over KGE baselines, setting new state-of-the-art performance on four benchmarks while improving efficiency by one or more orders of magnitude over competitive cross-modal baselines. Our empirical analyses reveal that diversity of models across modalities and preservation of individual models' confidence signals help explain the effectiveness of CascadER, and suggest promising directions for cross-modal cascaded architectures. Code and pretrained models are available at https://github.com/tsafavi/cascader.

研究の動機と目的

• 深層 LM を用いた完全アンサンブルが遅すぎる一方で、単純なアンサンブルでは性能が低いという、クロスモダルドリンク予測における精度と効率のトレードオフを解消すること。
• 計算コストを著しく削減しつつ高い順位付け精度を維持できる段階的な再順序付けシステムを設計すること。
• モデルの多様性と信頼度信号の保持が、知識グラフ補完における効果的なクロスモダルドアンサンブルにどのように寄与するかを調査すること。
• 各段階のドレインニングレベルで、より高価なモデルの推論を実行する対象となる最も有望な候補を選択する動的プルーニング戦略を開発すること。

提案手法

• CascadER は三段階のアーキテクチャを採用する：まずベースの KGE モデルがすべての候補をスコア付けし、その後に段階的に複雑さが増す LM（デュアルエンコーダ、クロスエンコーダ）が、上位候補のサブセットに対して再順序付けを行う。
• 各段階で、分位数しきい値（例：q=0.5、q=0.9）に基づいた動的プルーニング機構が、次の段階に渡される候補数を削減する。
• ベースモデルからの信頼度信号を損なわないように、モデルスコアの加法的再重み付けを用いることで、マージンに基づく順位付け信号の希釈を防ぐ。
• 高価なクロスエンコーダ LMs を、最も不確実または有望な候補にのみ呼び出す適応的サブセット選択に依存することで、計算オーバーヘッドを最小限に抑える。
• 構造的およびテクスト的情報を段階全体にわたって保持するように、KGE と LMs を段階的再順序付けパイプラインで統合する。
• MRR および hits@k メトリクスを最適化するため、微分可能プルーニング戦略を用いてエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 より複雑なモデルを小さな候補集合に段階的に適用する段階的アーキテクチャは、計算コストを削減しつつも高いリンク予測精度を維持できるか？
• RQ2 スコアのマージン差といった信頼度信号をモデル間で保持することで、クロスモダルドリンク予測におけるアンサンブル性能にどのような影響を与えるか？
• RQ3 ランク相関とスコア分布の違いによって測定されるモデルの多様性は、クロスモダルドアンサンブルの有効性にどの程度寄与するか？
• RQ4 段階的アンサンブルにおいて、個々のモデルスコアの再重み付けと単純な平均化のどちらがより効果的か？

主な発見

• CascadER は 4 つのベンチマークで SOTA の性能を達成し、最も強力な KGE ベースラインと比較して MRR を最大 9 ポイント向上させた。
• 完全アンサンブルベースライン（すべての候補ペairにクロスエンコーダを適用）と比較して、推論コストを 10 倍以上削減した。
• KGE とクロスエンコーダのペアは CoDEx-M で最も低いランク相関（0.2025）を示しており、高い多様性を示しており、これが優れたアンサンブル性能と相関している。
• クロスエンコーダのスコア分布は、KGE やデュアルエンコーダと比較して顕著に左に偏っていることから、低信頼度の候補をより積極的にフィルタリングしていることが示唆された。
• 加法的再重み付けを削除すると、開発セットの MRR が 6〜8 ポイント低下し、再重み付けがベースモデルからの重要な信頼度信号を保持していることが示された。
• 再重み付けの下では、平均マージンとゴールの順位との相関が顕著に高まり、再重み付けがモデルの信頼度整合性を維持していることが確認された。