[論文レビュー] Dipping PLMs Sauce: Bridging Structure and Text for Effective Knowledge Graph Completion via Conditional Soft Prompting

Chen Chen, Yufei Wang+3 more|arXiv (Cornell University)|Jul 4, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、知識グラフ（KG）の構造的情報を事前学習済み言語モデル（PLM）のテキスト知識と結合するための新規フレームワーク、CSProm-KGを提案する。条件付きソフトプロンプトを用いてエンティティおよび関係の埋め込みに応じてプロンプトを生成することで、PLMの微調整を伴わせることなく、両モalityを効果的に統合する。複数の静的および時系列KGCベンチマークで最先端性能を達成し、WN18RR、FB15K-237、Wikidata5M、ICEWS14、ICEWS05-15においても新たなSOTAを記録した。

ABSTRACT

Knowledge Graph Completion (KGC) often requires both KG structural and textual information to be effective. Pre-trained Language Models (PLMs) have been used to learn the textual information, usually under the fine-tune paradigm for the KGC task. However, the fine-tuned PLMs often overwhelmingly focus on the textual information and overlook structural knowledge. To tackle this issue, this paper proposes CSProm-KG (Conditional Soft Prompts for KGC) which maintains a balance between structural information and textual knowledge. CSProm-KG only tunes the parameters of Conditional Soft Prompts that are generated by the entities and relations representations. We verify the effectiveness of CSProm-KG on three popular static KGC benchmarks WN18RR, FB15K-237 and Wikidata5M, and two temporal KGC benchmarks ICEWS14 and ICEWS05-15. CSProm-KG outperforms competitive baseline models and sets new state-of-the-art on these benchmarks. We conduct further analysis to show (i) the effectiveness of our proposed components, (ii) the efficiency of CSProm-KG, and (iii) the flexibility of CSProm-KG.

研究の動機と目的

• 事前学習済み言語モデル（PLM）ベースのKGCモデルがテキスト情報に過剰適合し、知識グラフ内の構造的知識を無視するという不均衡を是正すること。
• PLMを微調整せずに、KGからの構造的情報を凍結されたPLMに効果的に統合する手法を開発すること。
• エンティティ予測における表面的テキスト類似度への過剰依存を防ぎながら、高いパフォーマンスと効率性を維持すること。
• モジュラーなプロンプトメカニズムにより、さまざまなグラフベースのKGCモデルへの柔軟な統合を可能にすること。
• 静的（WN18RR、FB15K-237、Wikidata5M）および時系列（ICEWS14、ICEWS05-15）KGCタスクを含む多様なベンチマークで有効性を実証すること。

提案手法

• エンティティおよび関係の埋め込みに応じて動的に生成される条件付きソフトプロンプト（CSProm）を導入し、PLM入力に対して構造に配慮した条件付けを可能にする。
• エンティティおよび関係のテキスト記述を凍結されたPLMで符号化する一方、ソフトプロンプトのパラメータのみを最適化することで、テキストに過剰適合するのを防ぐ。
• 生成された条件付きソフトプロンプトを凍結されたPLMに供給し、テキスト的知識と構造的知識を統合した文脈依存表現を生成する。
• 統合された表現を、グラフベースのKGCモデル（例：TransE、DistMult、ConvE）と組み合わせて、最終的なエンティティスコアリングとランク付けに用いる。
• 局所的 adversarial 正則化を適用して、テキスト的に類似したエンティティ間の識別性を高め、敵対的摂動に対して耐性を向上させる。
• ソフトプロンプトのパラメータのみを更新するエンドツーエンドの学習により、PLMの事前学習済み知識を保持しながらKGCタスクに適応する。

実験結果

リサーチクエスチョン

• RQ1 PLMを微調整せずに、PLMベースのKGCにおいてテキスト的知識と構造的知識を効果的にバランスさせることは可能か？
• RQ2 エンティティおよび関係の埋め込みに条件づけたソフトプロンプトは、無条件のソフトプロンプトに比べて性能と頑健性を向上させるか？
• RQ3 提案手法は、さまざまなグラフベースのKGCモデルに一般化可能であり、効率的か？
• RQ4 CSProm-KGは、強力なベースラインと比較して、静的および時系列KGCベンチマークでどのように性能を発揮するか？
• RQ5 特に曖昧なケースにおいて、モデルはテキスト類似度に過剰に依存するのをどの程度回避できるか？

主な発見

• CSProm-KGは、WN18RR、FB15K-237、Wikidata5M、ICEWS14、ICEWS05-15の5つのベンチマークすべてで、新たなSOTAを達成した。
• WN18RRでは、TransEと組み合わせた場合、MRRが0.243（TransE）から0.499に向上し、H@1が0.043から0.462に向上した。
• DistMultと組み合わせた場合、MRRが0.444から0.543に、H@1が0.412から0.494に上昇し、モデル間で一貫した向上が確認された。
• ConvEでは、MRRが0.575、H@1が0.522を達成し、ベースモデルと比較してそれぞれ0.119および0.103の顕著な向上を示した。
• 事例研究により、CSProm-KGは構造的に関連するエンティティ（例：グラミー賞）を正しく特定する一方で、テキスト的に類似した干渉要因（例：ラジー賞）を回避することが確認された。これは、条件付きプロンプトなしのモデルとは対照的であった。
• 除去実験では、条件付きソフトプロンプトが標準的ソフトプロンプトおよび微調整ベースラインを著しく上回り、テキスト的知識と構造的知識のバランスを効果的に実現していることが示された。