[논문 리뷰] A Survey On Few-shot Knowledge Graph Completion with Structural and Commonsense Knowledge

Haodi Ma, Daisy Zhe Wang|arXiv (Cornell University)|2023. 01. 03.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 종합 검토는 구조적 지식과 일반 지식을 활용하여 완전하지 않은 지식 그래프에서 장꼬리 및 새로 추가된 관계를 다루기 위해 소수의 샘플 트리플을 기반으로 지식 그래프 완성(FKGC) 방법에 대해 종합적으로 검토한다. 이 논문은 FKGC 접근 방식을 메타학습 기반, 주의 기반, 언어 모델 기반으로 분류하며, 구조적 지식 그래프와 자유형 텍스트 지식 그래프(예: ConceptNet, ATOMIC)에서의 제로/소수 샘플 일반화 성능 향상을 위해 텍스트 의미와 소수 샘플 유도적 편향을 통합한 방법을 강조한다.

ABSTRACT

Knowledge graphs (KG) have served as the key component of various natural language processing applications. Commonsense knowledge graphs (CKG) are a special type of KG, where entities and relations are composed of free-form text. However, previous works in KG completion and CKG completion suffer from long-tail relations and newly-added relations which do not have many know triples for training. In light of this, few-shot KG completion (FKGC), which requires the strengths of graph representation learning and few-shot learning, has been proposed to challenge the problem of limited annotated data. In this paper, we comprehensively survey previous attempts on such tasks in the form of a series of methods and applications. Specifically, we first introduce FKGC challenges, commonly used KGs, and CKGs. Then we systematically categorize and summarize existing works in terms of the type of KGs and the methods. Finally, we present applications of FKGC models on prediction tasks in different areas and share our thoughts on future research directions of FKGC.

연구 동기 및 목표

• 장꼬리 및 충분한 학습 트리플이 없는 새로 도입된 관계를 가진 완전하지 않은 지식 그래프의 과제를 해결하기 위해.
• 구조적 지식, 일반 지식, 사전 학습된 언어 모델의 사용을 기반으로 기존 FKGC 방법을 분류하고 종합적으로 검토하기 위해.
• NELL-One, Wiki-One, ConceptNet, ATOMIC 등의 다양한 벤치마크에서 FKGC 모델의 성능 및 한계를 분석하기 위해.
• 현재 평가의 격차를 파악하고, 향후 다중 모odal 및 상징적 지식을 FKGC에 통합하기 위한 연구 방향을 제안하기 위해.
• NLP 및 지식 집약적 응용 분야에서의 후속 작업을 위한 적절한 FKGC 방법 선택을 연구자들이 안내하기 위해.

제안 방법

• FKGC 방법을 메타학습 기반(예: MetaR, MAML), 주의 기반(예: InductiveE, FSRL), 생성 기반(예: OntoPrompt, BERTNet) 접근 방식으로 분류한다.
• 지식 소스 기반으로 FKGC 모델의 분류 체계를 제안한다: 구조적 지식 그래프(예: FB15K-237, NELL)와 일반 지식 그래프(예: ConceptNet, ATOMIC).
• 질의 관계의 의미를 기반으로 이웃 엔티티와 기준 트리플의 가중치를 동적으로 조정하기 위해 주의 메커니즘의 사용을 제안한다.
• NELL-One 및 Wiki-One과 같은 소수 샘플 벤치마크를 사용하여 모델을 평가한다. 여기서 각 관계당 학습 트리플은 1~5개 뿐이다.
• 프롬프트 튜닝을 통한 엔드 투 엔드 트리플 생성을 가능하게 하여 제로 샘플 일반화를 달성하는 사전 학습된 언어 모델(예: BERT, GPT)의 통합을 탐색한다.
• 온톨로지 및 규칙에서 유도된 상징적 지식은 미리 학습된 패턴을 초월한 미지의 엔티티와 관계에 대한 추론을 안내할 수 있으며, 이는 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 소수 샘플 지식 그래프 완성 모델은 어떻게 최소한의 감독 하에 장꼬리 및 새로 도입된 관계로 효과적으로 일반화할 수 있는가?
• RQ2 메타학습 기반, 주의 기반, 언어 모델 기반 FKGC 방법 간의 성능 및 설계적 차이점은 무엇인가?
• RQ3 사전 학습된 언어 모델은 소수 샘플 환경에서 기존의 지식 그래프 임베딩을 대체하거나 보완하는 데 어느 정도까지 가능할 수 있는가?
• RQ4 다양한 지식 그래프에서 소수 샘플 링크 예측을 지원하는 데 있어 구조적 지식과 일반 지식 소스 간의 비교는 어떠한가?
• RQ5 미래의 FKGC 프레임워크에 다중 모달 및 상징적 지식을 통합하기 위한 가장 유망한 방향은 무엇인가?

주요 결과

• MetaR 및 MAML과 같은 메타학습 기반 모델은 학습 중 고빈도 관계를 사용해 관계 임베딩의 일반적인 초기화를 학습함으로써 강력한 소수 샘플 일반화 성능을 달성한다.
• InductiveE 및 FSRL과 같은 주의 기반 모델은 질의 관계에 대한 관련성이 높은 이웃 엔티티의 가중치를 동적으로 조정함으로써 성능을 향상시킨다.
• BERTNet 및 COMET과 같은 언어 모델 기반 접근 방식은 엔티티와 관계 이름이 자연어 어휘로 구성된 자유형 일반 지식 그래프(예: ConceptNet, ATOMIC)에서 강력한 제로 샘플 능력을 보여준다.
• 텍스트 기반 설명과 관계 의미를 통합한 모델들(예: GANA, ZSGAN)은 의미적 사전 지식을 포함시켜 미지의 관계에서 성능 향상을 보인다.
• 온톨로지 및 규칙 기반 프롬프팅(예: OntoPrompt)은 피팅 튜닝 없이도 상징적 추론을 가능하게 하고, 미지의 엔티티 및 관계로의 일반화 능력을 향상시킨다.
• 다양한 결과가 유망하지만, 현재 평가 범위는 여전히 제한되어 있으며, 대규모 구조적 지식 그래프와 언어 모델 기반 시스템 간에 FKGC 모델를 비교할 수 있는 종합적인 벤치마크는 존재하지 않는다.