[논문 리뷰] Zero-Shot Learning with Common Sense Knowledge Graphs

Nihal V. Nayak, Stephen H. Bach|arXiv (Cornell University)|2020. 06. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 112인용 수 12

한 줄 요약

이 논문은 트랜스포머 기반 그래프 컨volution 네트워크(TrGCN)를 사용하여 공통 지식 지식 그래프를 활용해 제로샷 학습을 위한 표현력 있고 비선형적인 클래스 표현을 생성하는 새로운 프레임워크 ZSL-KG를 제안한다. 이 방법은 시각 및 언어 작업의 여섯 가지 벤치마크 중 여섯 곳에서 기존의 WordNet 기반 접근법보다 뛰어난 성능을 보이며, OntoNotes, BBN, aPY, SNIPS-NLU 및 ImageNet 22K에서 최신 기술 수준(SOTA) 성과를 달성한다.

ABSTRACT

Zero-shot learning relies on semantic class representations such as hand-engineered attributes or learned embeddings to predict classes without any labeled examples. We propose to learn class representations by embedding nodes from common sense knowledge graphs in a vector space. Common sense knowledge graphs are an untapped source of explicit high-level knowledge that requires little human effort to apply to a range of tasks. To capture the knowledge in the graph, we introduce ZSL-KG, a general-purpose framework with a novel transformer graph convolutional network (TrGCN) for generating class representations. Our proposed TrGCN architecture computes non-linear combinations of node neighbourhoods. Our results show that ZSL-KG improves over existing WordNet-based methods on five out of six zero-shot benchmark datasets in language and vision.

연구 동기 및 목표

• 기존의 수작업으로 설계된 특성 또는 WordNet 기반 임베딩에 의존하는 제로샷 학습 방법의 한계를 해결하기 위해, 이는 노력이 많이 들거나 영역에 특화되어 있다.
• 제로샷 학습을 위한 고수준의 일반 목적의 의미 지식으로서의 공통 지식 지식 그래프의 잠재적 잠재력을 탐색하기 위해.
• 학습 중에 전체 그래프 구조가 필요하지 않은, 대규모 비방향 지식 그래프에서 표현력 있는 클래스 표현을 생성할 수 있는 인덕티브(inductive), 일반 목적의 프레임워크를 개발하기 위해.
• 기존의 객체 분류에 국한된 그래프 신경망 기반 제로샷 학습을 자연어 이해 작업으로 확장하기 위해.
• 트랜스포머 어그리게이터를 사용해 노드 이웃의 비선형적이고 순열 불변 조합을 학습하여 다양한 벤치마크에서 제로샷 성능을 향상시키기 위해.

제안 방법

• 공통 지식 지식 그래프의 노드를 벡터 공간에 임bedding하여 제로샷 학습을 위한 클래스 표현을 생성하는 일반 목적의 프레임워크인 ZSL-KG를 제안한다.
• 노드 이웃 특성의 비선형적이고 순열 불변 조합을 계산하는 새로운 트랜스포머 기반 그래프 컨volution 네트워크인 TrGCN을 도입한다. 이는 표현력 있는 표현을 향상시킨다.
• TrGCN에서 자기주의(self-attention) 메커니즘을 활용해 이웃 노드 특성을 동적으로 가중치를 매기며, 단순한 평균 또는 최댓값 풀링을 초월한 적응형 집계를 가능하게 한다.
• 학습 중에 존재하지 않는 그래프나 테스트 클래스에 대해서도 추론이 가능하도록 인덕티브 설계되어 있어, 일반화된 제로샷 학습에 매우 중요하다.
• 관계 집계 구성 요소에서 파rameter 수를 줄이고 과적합을 방지하기 위해 저랭크 분해(low-rank factorization)와 기저 분해(basis decomposition)를 활용한다.
• 언어 작업에는 태스크별 biLSTM 인코더와 어텐션을 적용하고, 시각 작업에는 ResNet 백본을 미세조정하여 그래프 기반 클래스 표현과 통합한다.

실험 결과

연구 질문

• RQ1 공통 지식 지식 그래프는 다양한 작업에 걸쳐 WordNet보다 더 일반적이고 융통성 있는 의미 지식의 원천이 될 수 있는가?
• RQ2 트랜스포머 기반 그래프 컨volution 네트워크(TrGCN)는 기존의 선형 집계기법보다 그래프 신경망의 클래스 표현 학습에서 뚜렷한 성능 향상을 이끌 수 있는가?
• RQ3 객체 인식을 위해 설계된 그래프 기반 제로샷 학습 프레임워크는 자연어 이해 작업으로 효과적으로 확장될 수 있는가?
• RQ4 ZSL-KG는 시각 및 언어 제로샷 벤치마크에서 최신 기술 수준의 WordNet 기반 방법과 비교해 어떻게 성능을 내는가?
• RQ5 ZSL-KG의 인덕티브 성격은 새로운 클래스나 그래프에 대한 강력한 일반화를 얼마나 잘 가능하게 하는가?

주요 결과

• ZSL-KG는 제로샷 언어 이해 작업에서 OntoNotes, BBN, aPY, SNIPS-NLU 데이터셋에서 새로운 최신 기술 수준 성과를 달성한다.
• ImageNet 22K 데이터셋에서 기존의 WordNet 기반 방법보다 뛰어난 성능을 보이며, 대규모 시각 벤치마크로의 강력한 일반화 능력을 입증한다.
• AWA2 데이터셋에서 ZSL-KG는 경쟁력 있는 성능 유지를 보이며, 다양한 제로샷 학습 설정에서의 강건성을 확인한다.
• 제거 실험 결과, 자기주의를 갖춘 TrGCN 컴포넌트는 평균, 최댓값과 같은 선형 집계기법과 GCN, GAT, RGCN 등의 다른 GNN 변종보다 뚜렷한 성능 향상을 이룬다.
• 공통 지식 지식 그래프의 사용은 특히 미묘한 의미 이해가 요구되는 작업에서 더 표현력 있고 구분력 있는 클래스 표현을 이끌어낸다.
• ZSL-KG의 인덕티브 성격은 훈련 그래프에 포함되지 않은 테스트 클래스에 대해서도 효과적인 제로샷 일반화를 가능하게 하며, 확장성과 적응 가능성의 타당성을 입증한다.