[논문 리뷰] Zero-shot and Few-shot Learning with Knowledge Graphs: A Comprehensive Survey

Jiaoyan Chen, Yuxia Geng외 6명|arXiv (Cornell University)|2021. 12. 18.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 종합적 서베이는 90개 이상의 지식 그래프(KG) 기반 0-샷 및 소수 샘플 학습(ZSL/FSL) 방법을 검토하며, 매핑 기반, 데이터 증강, 전파 기반, 최적화 기반의 파라다임으로 체계적으로 분류한다. 지식 그래프가 상징적, 관계적, 의미적 지식을 통합함으로써 모델의 일반화 능력을 크게 향상시키며, 특히 클래스 속성, 텍스트 기반 설명, 구조화된 관계 사실을 통해 이미지 분류, 텍스트 분류, 지식 완성 작업에서 성능 향상을 이룬다.

ABSTRACT

Machine learning especially deep neural networks have achieved great success but many of them often rely on a number of labeled samples for supervision. As sufficient labeled training data are not always ready due to e.g., continuously emerging prediction targets and costly sample annotation in real world applications, machine learning with sample shortage is now being widely investigated. Among all these studies, many prefer to utilize auxiliary information including those in the form of Knowledge Graph (KG) to reduce the reliance on labeled samples. In this survey, we have comprehensively reviewed over 90 papers about KG-aware research for two major sample shortage settings -- zero-shot learning (ZSL) where some classes to be predicted have no labeled samples, and few-shot learning (FSL) where some classes to be predicted have only a small number of labeled samples that are available. We first introduce KGs used in ZSL and FSL as well as their construction methods, and then systematically categorize and summarize KG-aware ZSL and FSL methods, dividing them into different paradigms such as the mapping-based, the data augmentation, the propagation-based and the optimization-based. We next present different applications, including not only KG augmented prediction tasks such as image classification, question answering, text classification and knowledge extraction, but also KG completion tasks, and some typical evaluation resources for each task. We eventually discuss some challenges and open problems from different perspectives.

연구 동기 및 목표

• 다양한 도메인에서 90개 이상의 지식 그래프(KG) 기반 0-샷 및 소수 샘플 학습(ZSL/FSL) 방법에 대한 체계적인 리뷰를 제공한다.
• 기호적, 관계적, 의미적 지식을 활용하여 레이블이 있는 데이터에 대한 의존도를 줄이고 일반화 능력을 향상시키기 위해 지식 그래프의 역할을 분석한다.
• KG 기반 ZSL/FSL에서 사용되는 주요 방법론적 파라다임—매핑 기반, 데이터 증강, 전파 기반, 최적화 기반—을 특정한다.
• 기존의 벤치마크를 평가하고 평가 프로토콜, 지식 커버리지, 다양한 작업 및 KG 설정 간 일반화 능력에서의 격차를 부각한다.
• 특히 동적, 스키마가 풍부하고 복잡한 지식 환경을 고려할 때, KG 기반 ZSL/FSL의 열린 과제와 향후 연구 방향을 제시한다.

제안 방법

• KG 기반 ZSL/FSL 방법을 매핑 기반(예: 특징 공간 투영), 데이터 증강(예: KG를 활용한 합성 샘플 생성), 전파 기반(예: KG 기반 GNN), 최적화 기반(예: KG 가이드를 받는 메타학습)의 네 가지 주요 파라다임으로 분류한다.
• 지식 추출 기술(예: 텍스트, 표, 웹 자료에서의 지식 추출)과 사전 존재하는 지식 그래프(NELL, WordNet 등)의 사용을 포함한 지식 그래프 구축 기법을 검토한다.
• 시각 및 자연어 처리 작업에서 딥 러닝 모델과의 통합을 분석하며, 시각적/텍스트 기반 특징을 KG에 내장된 클래스 표현과 정렬한다.
• OntoZSL 및 DeViSE에서의 분석 실험을 통해 텍스트 기반 설명, 속성, RDFS 스키마 등 다양한 KG 의미 체계가 모델 성능에 미치는 영향을 평가한다.
• 이미지 분류, 텍스트 분류, 지식 그래프 완성 등 다양한 작업과 KG 설정 간에 KG 기반 ZSL/FSL 방법을 평가하기 위한 프레임워크를 제안한다.
• 지식 통합의 분류 체계를 제안: 클래스 수준의 속성에서 관계적 사실과 온톨로지 스키마에 이르기까지, 신경망 임bedding에 대비하여 기호적 지식의 보완성을 강조한다.

실험 결과

연구 질문

• RQ1 매핑, 데이터 증강, 전파, 최적화 기반의 다양한 KG 기반 파라다임이 0-샷 및 소수 샘플 학습 성능을 어떻게 향상시키는가?
• RQ2 텍스트 기반 설명, 속성, RDFS 스키마 등 다양한 KG 의미 체계 중에서 ZSL 및 FSL에서 모델의 일반화 능력을 가장 효과적으로 향상시키는 것은 무엇인가?
• RQ3 KG 기반 방법은 이미지 분류, 텍스트 분류, 질의 응답, 지식 그래프 완성과 같은 다양한 작업에서 어떻게 일반화되는가?
• RQ4 지식 커버리지, 품질, 작업 간 이식 가능성 측면에서 현재의 KG 기반 ZSL/FSL 벤치마크의 주요 제한 사항과 열린 과제는 무엇인가?
• RQ5 메타학습 및 GNN 기반 모델과의 융합을 통해 KG를 어떻게 효과적으로 통합하여 소수 샘플 일반화 능력을 향상시킬 수 있는가?

주요 결과

• 관계적 및 기호적 지식을 활용함으로써 다양한 벤치마크에서 최신 기술 성능을 달성하는 KG 기반 ZSL/FSL 방법이 존재하며, 특히 풍부한 클래스 설명과 구조화된 사실을 활용할 경우 성능 향상이 두드러진다.
• KG 내 텍스트 및 속성 기반 지식의 활용은 0-샷 일반화 능력을 크게 향상시키며, OntoZSL와 같은 방법은 이미지 및 텍스트 분류 작업에서 뛰어난 성능을 보인다.
• 데이터 증강 및 전파 기반 방법은 의미적으로 유의미한 학습 샘플을 생성하고 엔티티 간 특징 전파를 향상시켜 소수 샘플 학습 성능을 향상시킨다.
• 메타학습과 KG 검색(예: NELL을 통한)의 조합은 작업 기반 관계 네트워크를 구성함으로써 소수 샘플 텍스트 분류 성능을 향상시키며, 동적 지식 통합의 가치를 입증한다.
• 현재의 벤치마크는 범위가 제한되어 있으며, 고정된 KG에 의존하는 경우가 많고, 지식 품질, 커버리지, 작업 다양성에 대한 체계적인 평가가 부족하여 보다 종합적이고 표준화된 평가 프레임워크의 필요성이 제기된다.
• 진전이 있었음에도 불구하고, 특히 의료 과학이나 OWL 기반 지식 그래프와 같은 동적 또는 스키마가 풍부한 환경에서, KG를 종단 간 모델에 효과적으로 통합하는 데는 여전히 과제가 남아 있다.