[논문 리뷰] Dipping PLMs Sauce: Bridging Structure and Text for Effective Knowledge Graph Completion via Conditional Soft Prompting

Chen Chen, Yufei Wang외 3명|arXiv (Cornell University)|2023. 07. 04.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 조건부 소프트 프롬을 통해 지식 그래프(KG)의 구조적 정보와 사전 훈련된 언어 모델(PLM)의 텍스트적 지식을 연결하는 새로운 프레임워크인 CSProm-KG를 제안한다. 엔티티 및 관계 임베딩에 조건부로 프롬프트를 생성함으로써, PLM의 미세조정 없이도 두 모odal을 효과적으로 융합한다. 다양한 정적 및 시간적 KGC 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, WN18RR, FB15K-237, Wikidata5M, ICEWS14, ICEWS05-15에서 새로운 SOTA 기록을 수립하였다.

ABSTRACT

Knowledge Graph Completion (KGC) often requires both KG structural and textual information to be effective. Pre-trained Language Models (PLMs) have been used to learn the textual information, usually under the fine-tune paradigm for the KGC task. However, the fine-tuned PLMs often overwhelmingly focus on the textual information and overlook structural knowledge. To tackle this issue, this paper proposes CSProm-KG (Conditional Soft Prompts for KGC) which maintains a balance between structural information and textual knowledge. CSProm-KG only tunes the parameters of Conditional Soft Prompts that are generated by the entities and relations representations. We verify the effectiveness of CSProm-KG on three popular static KGC benchmarks WN18RR, FB15K-237 and Wikidata5M, and two temporal KGC benchmarks ICEWS14 and ICEWS05-15. CSProm-KG outperforms competitive baseline models and sets new state-of-the-art on these benchmarks. We conduct further analysis to show (i) the effectiveness of our proposed components, (ii) the efficiency of CSProm-KG, and (iii) the flexibility of CSProm-KG.

연구 동기 및 목표

• PLM 기반 KGC 모델에서 텍스트 정보에 과적합하고 지식 그래프의 구조적 지식을 忽略하는 불균형 문제를 해결한다.
• PLM를 완전히 미세조정하지 않고도 지식 그래프에서의 구조적 정보를 고정된 PLM에 효과적으로 통합하는 방법을 개발한다.
• 엔티티 예측에서 표면적 텍스트 유사성에 대한 과도한 의존을 방지하면서도 높은 성능과 효율성을 유지한다.
• 모듈러한 프롬프트 메커니즘을 통해 다양한 기반 그래프 기반 KGC 모델에의 탄력적 통합을 가능하게 한다.
• 정적(WN18RR, FB15K-237, Wikidata5M) 및 시간적(ICEWS14, ICEWS05-15) KGC 작업을 포함한 다양한 벤치마크에서의 효과성을 입증한다.

제안 방법

• 엔티티 및 관계 임베딩에서 동적으로 생성되는 조건부 소프트 프롬(CSProm)을 도입하여, PLM 입력에 대한 구조적 인식 조건부 조절을 가능하게 한다.
• 엔티티 및 관계의 텍스트 기술을 고정된 PLM가 인코딩하도록 하되, 오직 소프트 프롬 파라미터만 조정하여 텍스트에 대한 과적합을 방지한다.
• 생성된 조건부 소프트 프롬을 고정된 PLM에 입력하여 텍스트적 지식과 구조적 지식을 융합한 컨텍스트 기반 표현을 생성한다.
• 융합된 표현을 기반으로 기반 그래프 기반 KGC 모델(예: TransE, DistMult, ConvE)과 결합하여 최종 엔티티 스코어링 및 랭킹을 수행한다.
• 지역적 적대적 정규화를 적용하여 텍스트적으로 유사한 엔티티 간의 구분 능력을 향상시키고, 적대적 변형에 대한 강건성을 강화한다.
• 모델을 엔티티 스코어링 파라미터만 업데이트하는 방식으로 종단 간(end-to-end)으로 훈련함으로써, PLM의 사전 훈련된 지식을 유지하면서도 KGC 작업에 적응한다.

실험 결과

연구 질문

• RQ1 PLM를 미세조정하지 않고도 PLM 기반 KGC에서 텍스트적 지식과 구조적 지식을 효과적으로 균형 있게 조절할 수 있는가?
• RQ2 엔티티 및 관계 임베딩에 조건부로 프롬프트를 설정함으로써, 무조건적 소프트 프롬 대비 성능과 강건성이 향상되는가?
• RQ3 제안된 방법은 다양한 기반 그래프 기반 KGC 모델에 일반화되며 효율성을 유지하는가?
• RQ4 CSProm-KG는 강력한 기준 모델 대비 정적 및 시간적 KGC 벤치마크에서 어떻게 성능을 내는가?
• RQ5 특히 모호한 경우에서 모델이 텍스트 유사성에 과도하게 과적합하는 정도는 어느 정도인가?

주요 결과

• CSProm-KG는 WN18RR, FB15K-237, Wikidata5M, ICEWS14, ICEWS05-15의 다섯 개 모든 벤치마크에서 새로운 최고 성능(SOTA)을 달성하였다.
• WN18RR에서 TransE와 결합했을 경우, MRR는 0.243에서 0.499로 향상되었고, H@1은 0.043에서 0.462로 상승하였다.
• DistMult와 결합했을 경우, MRR는 0.444에서 0.543으로 향상되었고, H@1은 0.412에서 0.494로 상승하여 다양한 모델 간 일관된 성능 향상을 입증하였다.
• ConvE에서 CSProm-KG는 MRR 0.575와 H@1 0.522를 기록하여 기반 모델 대비 각각 0.119와 0.103의 유의미한 향상을 보였다.
• 사례 연구 결과, CSProm-KG는 구조적으로 관련된 엔티티(예: Grammy Award)를 정확히 식별하는 반면, 텍스트적으로 유사한 오염자(예: Razzie Award)는 회피하는 것으로 확인되었으며, 이는 조건부 프롬프트가 없는 모델들과 대비해 뚜렷한 우월성을 보였다.
• 제거 실험 결과, 조건부 소프트 프롬이 표준 소프트 프롬 및 미세조정 기반 기준 모델 대비 텍스트적 지식과 구조적 지식의 균형을 훨씬 더 효과적으로 달성하는 것으로 나타났다.