[논문 리뷰] Knowledge Is Flat: A Seq2Seq Generative Framework for Various Knowledge Graph Completion

Chen Chen, Yufei Wang외 2명|arXiv (Cornell University)|2022. 09. 15.

Advanced Graph Neural Networks인용 수 12

한 줄 요약

이 논문은 지식 그래프 완성(KGC) 작업—정적, 시간적, 소수 샘플—을 모두 통합적으로 다룰 수 있는 일관된 Seq2Seq 생성 프레임워크인 KG-S2S를 제안한다. 이는 지식 그래프 사실을 텍스트로 평탄화하여 단일 모델이 텍스트 기반 생성을 통해 모든 작업을 처리할 수 있도록 한다. 엔티티 설명, 소프트 프롬프트, 제약 있는 디코딩을 통해 입력 표현을 개선함으로써 다섯 가지 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 파라미터 효율성도 유지하면서 새로운 타당한 엔티티를 생성할 수 있다.

ABSTRACT

Knowledge Graph Completion (KGC) has been recently extended to multiple knowledge graph (KG) structures, initiating new research directions, e.g. static KGC, temporal KGC and few-shot KGC. Previous works often design KGC models closely coupled with specific graph structures, which inevitably results in two drawbacks: 1) structure-specific KGC models are mutually incompatible; 2) existing KGC methods are not adaptable to emerging KGs. In this paper, we propose KG-S2S, a Seq2Seq generative framework that could tackle different verbalizable graph structures by unifying the representation of KG facts into "flat" text, regardless of their original form. To remedy the KG structure information loss from the "flat" text, we further improve the input representations of entities and relations, and the inference algorithm in KG-S2S. Experiments on five benchmarks show that KG-S2S outperforms many competitive baselines, setting new state-of-the-art performance. Finally, we analyze KG-S2S's ability on the different relations and the Non-entity Generations.

연구 동기 및 목표

• 기존 KGC 모델들이 특정 지식 그래프 구조에 밀접하게 결합되어 있어 상호 호환성과 유연성이 떨어지는 문제를 해결하기 위해.
• 구조적 변경 없이 정적, 시간적, 소수 샘플 KGC 작업을 하나의 생성 프레임워크로 통합하기 위해.
• 구조화된 지식 그래프 사실을 텍스트로 평탄화할 때 발생하는 정보 손실을 줄이기 위해 입력 표현과 추론 메커니즘을 개선하기 위해.
• 데이터 증강과 새로운 지식 탐색을 위해 비엔티티, 타당한 지식 삼중항을 생성할 수 있도록 하기 위해.
• 지식 그래프 규모가 증가함에 따라 모델 크기가 느리게 증가하는 파라미터 효율적인 모델을 개발하기 위해.

제안 방법

• 모든 지식 그래프 사실—구조에 관계없이—를 '텍스트 기반 텍스트' 형식으로 평탄화하여 엔티티, 관계, 타임스탬프를 순수 텍스트 시퀀스로 간주한다.
• 엔티티 설명, 소프트 프롬프트, Seq2Seq 드롭아웃을 사용하여 입력 표현을 향상시켜 의미적 및 구조적 신호를 유지한다.
• 접두사 제약 조건을 사용하여 생성을 유효한 엔티티와 관계로 이끌어내는 제약 있는 디코딩 알고리즘을 구현한다.
• 표준 텍스트 생성 목표를 사용하여 사전 학습된 Seq2Seq 언어 모델(T5-base/small)을 KGC 작업에 피지컬러닝한다.
• 생성 품질과 추론 비용의 균형을 고려해 고정된 비드 폭 40으로 암시적 서치를 사용한다.
• 모든 백본을 재학습하지 않고도 모델의 인라인 행동을 적응시킬 수 있도록 관계별 소프트 프롬프트 메커니즘을 통합한다.

실험 결과

연구 질문

• RQ1 아키텍처 수정 없이도 단일 Seq2Seq 생성 프레임워크가 정적, 시간적, 소수 샘플 KGC 작업을 모두 처리할 수 있는가?
• RQ2 지식 그래프를 시퀀스로 평탄화할 때, 제안된 텍스트 기반 접근 방식이 구조적 정보를 얼마나 잘 유지하는가?
• RQ3 모델이 의미적으로 타당하고 지식 탐색에 유용한 비엔티티 엔티티를 얼마나 잘 생성할 수 있는가?
• RQ4 모델의 성능가 파라미터 수에 따라 어떻게 변화하며, 지식 그래프가 커질수록 효율성을 유지할 수 있는가?
• RQ5 엔티티 설명, 소프트 프롬프트, 제약 있는 디코딩의 사용이 생성 품질과 KGC 성능을 상당히 향상시키는가?

주요 결과

• KG-S2S는 WN18RR, FB15K-237, FB15K-237N, ICEWS14, NELL-One 등 다섯 가지 벤치마크에서 모두 최신 기술 수준 성능을 달성하여 그래프 기반 및 PLM 기반 베이스라인을 모두 압도한다.
• FB15K-237N에서 KG-S2S는 T5-base 백본(220M 파라미터)을 사용해 MRR 0.353을 기록했으며, StAR(354M 파라미터)의 0.274 MRR를 뛰어넘었다.
• 더 작은 T5-small 백본(60M 파라미터)을 사용해도 KG-S2S는 0.351 MRR을 달성하여 훨씬 적은 파라미터로도 뛰어난 성능을 보였다.
• 비드 폭이 40까지 증가함에 따라 성능 향상이 지속되다가 정점에 도달함을 확인하여, 비용과 정확도의 균형을 고려해 비드 크기 40를 선택한 것이 타당하다고 판단된다.
• 접두사 제약 조건이 없을 경우에도 KG-S2S는 의미적으로 타당한 답변을 포함한 비엔티티 텍스트를 생성한다. 예를 들어, '로보코프'의 장르에 대해 '스퍼히어로 영화'를, M. 나이트 셰야말란의 민족적 배경에 대해 '인도계 미국인'을 생성한다.
• KG-S2S의 파라미터 증가율은 지식 그래프 크기와 거의 일정한데, 이는 관계 수에 따라 스케일링되는 소프트 프롬프트($O(|\mathcal{R}| \cdot d)$) 덕분이며, 전통적인 모델이 엔티티와 관계 수에 따라 증가하는 것($O((|\mathcal{E}|+|\mathcal{R}|)d)$)과는 다르다.