[논문 리뷰] Improving Zero Shot Learning Baselines with Commonsense Knowledge

Abhinaba Roy, Deepanway Ghosal외 4명|arXiv (Cornell University)|2020. 12. 11.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 그래프 컨volution 오토에인코드어를 통해 ConceptNet에서 유추한 공통 지식을 통합하여 제로샷 러닝(ZSL) 기반 모델을 향상시키는 방법을 제안한다. 이는 공통 지식 임베딩(CSE)을 인간이 정의한 속성(HA)과 분산어임베딩(DWE)과 융합하여 개선된 의미 임베딩을 생성함으로써, 세 가지 벤치마크 데이터셋에서 뚜렷한 정확도 향상을 이룬다. 이는 명시적인 관계 지식이 표준 의미 임베딩을 넘어서 제로샷 일반화 능력을 향상시킬 수 있음을 보여준다.

ABSTRACT

Zero shot learning -- the problem of training and testing on a completely disjoint set of classes -- relies greatly on its ability to transfer knowledge from train classes to test classes. Traditionally semantic embeddings consisting of human defined attributes (HA) or distributed word embeddings (DWE) are used to facilitate this transfer by improving the association between visual and semantic embeddings. In this paper, we take advantage of explicit relations between nodes defined in ConceptNet, a commonsense knowledge graph, to generate commonsense embeddings of the class labels by using a graph convolution network-based autoencoder. Our experiments performed on three standard benchmark datasets surpass the strong baselines when we fuse our commonsense embeddings with existing semantic embeddings i.e. HA and DWE.

연구 동기 및 목표

• 학습 데이터 없이도 새로운 클래스를 분류할 수 있어야 하는 제로샷 러닝의 과제를 해결하기 위해, 외부 지식을 통한 의미 임베딩 품질 향상 방법을 제시한다.
• 단순히 어휘적 또는 계층적 관계가 아닌, 공통 지식이 제로샷 러닝에서 본래의 클래스와 새로운 클래스 간의 전이 능력을 향상시키는지 탐구한다.
• ConceptNet에서 유도된 의미적 관계를 기반으로 의미 있고 관련성이 있는 임베딩을 학습하는 그래프 기반 방법을 개발하여 더 나은 시각-의미적 연관성을 지원한다.
• 기존의 강력한 ZSL 기반 모델을 능가하기 위해, 공통 지식 인식 임베딩을 표준 학습 파이프라인에 통합한다.

제안 방법

• 모든 ConceptNet 지식 그래프에 대해 그래프 컨volution 네트워크(GCN) 기반 오토에인코드어를 학습시어, 상위 클래스 간의 연관성을 학습하고 공통 지식 임베딩(CSE)을 생성한다.
• 모델은 ConceptNet 내의 노드 간 메시지 전달을 활용하여 클래스 레이블 간의 관계 경로를 인코딩함으로써, 단순한 단어 공출과는 다름없는 의미적 연결을 포착한다.
• 공통 지식 임베딩은 인간이 정의한 속성(HA)과 분산어임베딩(DWE, 예: word2vec)과 융합된다.
• 융합된 임베딩은 표준 ZSL 프레임워크에서 사용되며, 시각적 특징과 의미 임베딩 간의 유사도를 측정하는 연관 함수를 통해 가장 유사한 클래스를 예측한다.
• 모든 본래의 클래스와 새로운 클래스에 대해 ConceptNet에서 서브그래프를 구성함으로써, 임베딩 학습 과정에서 각 클래스에 대한 관련 관계적 맥락을 확보한다.
• 본래의 클래스와 새로운 클래스가 분리된 분할 방식을 사용하는 표준 ZSL 프rotocol 하에서 평가되며, 주요 평가 지표로는 상위-1 정확도가 사용된다.

Figure 1: Animal in the middle is relatively unknown. However, we know the ones on the left and the right.

실험 결과

연구 질문

• RQ1 ConceptNet과 같은 지식 그래프에서 유도한 공통 지식이 기존의 의미 임베딩을 넘어서 제로샷 러닝 성능을 향상시킬 수 있는가?
• RQ2 ConceptNet의 관계 지식 통합 방식이 WordNet과 같은 어휘 지식 그래프와 비교해 ZSL에서 어떤가?
• RQ3 ConceptNet에 기반한 그래프 오토에인코드어가 표준 어휘 임베딩보다 새로운 클래스에 대해 더 구분력 있고 전이 가능한 임베딩을 생성하는가?
• RQ4 본래의 클래스와 새로운 클래스 간의 명시적 관계 경로가 시각-의미적 연관성 향상에 얼마나 기여하는가?
• RQ5 다양한 도메인 분포를 가진 다양한 데이터셋에서도 제안된 방법이 안정적인 성능을 유지하는가?

주요 결과

• 공통 지식 임베딩(CSE)을 인간이 정의한 속성(HA)과 분산어임베딩(DWE)과 융합함으로써, 세 가지 벤치마크 데이터셋 전반에서 일관되고 뚜렷한 정확도 향상이 이루어진다.
• Wang 등(2018)과 같은 강력한 기존 기반 모델을 상당한 격차로 능가함으로써, 제안된 그래프 오토에인코드어 접근 방식의 우수성을 입증한다.
• ConceptNet을 WordNet으로 대체할 경우 성능 저하가 심각하게 발생함으로써, 'RelatedTo', 'CapableOf'와 같은 공통 지식 관계가 'Hypernym'과 같은 어휘적 관계보다 ZSL에서 더 효과적임을 확인한다.
• 도메인 특화 데이터셋(예: 동물 전용)에서는 다각도의 데이터셋(예: aP&Y)보다 더 높은 정확도를 기록함으로써, 도메인의 균일성이 전이 능력을 향상시킨다는 것을 시사한다.
• 정성적 분석 결과, 'Jetski'와 'Motorbike'처럼 시각적·의미적으로 유사한 클래스 간의 word2vec 유사도는 낮게(0.45) 나타나지만, 강력한 공통 지식 관계가 존재함을 확인할 수 있었으며, 모델은 이를 효과적으로 활용한다.
• 표준 임베딩이 놓치는 간접적이고 관계적인 지식을 포착함으로써, 공통 지식 임베딩은 시각적 특징과 새로운 클래스 레이블 간의 연관성을 향상시킨다.

Figure 2: An example of commonsense relations between Aeroplane and Motorbike in ConceptNet.