[논문 리뷰] Generative Adversarial Zero-shot Learning via Knowledge Graphs

Yuxia Geng, Jiaoyan Chen외 5명|arXiv (Cornell University)|2020. 04. 07.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 12

한 줄 요약

이 논문은 지식 그래프(KG)를 이중 시각(클래스 계층 구조 및 속성 주석)으로 활용하여 미사전 클래스의 특징 합성을 향상시키는 생성형 제로샷 러닝 프레임워크인 KG-GAN을 제안한다. 지식 그래프에서 의미적으로 풍부한 클래스 임베딩을 학습하기 위해 그래프 신경망(GNNs)을 사용하고, 표준 GAN을 통해 고품질의 시각적 특징을 생성함으로써, 추가 정규화 없이도 최신 기술을 능가하며, ZSL에서 ImNet-A에서 39.24%의 Hit@1을 달성하고, GZSL에서 30.60%를 기록한다.

ABSTRACT

Zero-shot learning (ZSL) is to handle the prediction of those unseen classes that have no labeled training data. Recently, generative methods like Generative Adversarial Networks (GANs) are being widely investigated for ZSL due to their high accuracy, generalization capability and so on. However, the side information of classes used now is limited to text descriptions and attribute annotations, which are in short of semantics of the classes. In this paper, we introduce a new generative ZSL method named KG-GAN by incorporating rich semantics in a knowledge graph (KG) into GANs. Specifically, we build upon Graph Neural Networks and encode KG from two views: class view and attribute view considering the different semantics of KG. With well-learned semantic embeddings for each node (representing a visual category), we leverage GANs to synthesize compelling visual features for unseen classes. According to our evaluation with multiple image classification datasets, KG-GAN can achieve better performance than the state-of-the-art baselines.

연구 동기 및 목표

• 기존의 부가 정보(예: 텍스트 또는 속성)의 의미적 풍부도가 제한적인 제로샷 러닝(ZSL) 문제를 해결하기 위해.
• 지식 그래프(KG)의 구조적이고 다각도의 의미 정보를 통합함으로써 ZSL에서 일반화 및 분류 능력을 향상시키기 위해.
• 복잡한 정규화나 아키텍처 수정 없이도 KG 임베딩을 활용하는 생성형 ZSL 프레임워크를 개발하기 위해.
• 풍부한 클래스 의미 정보가 잘 설계된 정규화보다 고품질의 시각적 특징 생성에 더 뛰어난 성능을 발휘할 수 있음을 입증하기 위해.

제안 방법

• 각 시각적 카테고리에 대해 클래스 계층 구조(클래스 시각)와 속성 주석(속성 시각)을 통합한 이중 시각 지식 그래프(KG)를 구축한다.
• GNN를 사용한 그래프 오토에인코더를 통해 두 KG 시각에서 의미적으로 유의미한 노드 임베딩을 학습하며, 클래스 이름의 워드 벡터로 보완한다.
• 학습된 KG 임베딩을 표준 생성적 적대 신경망(GAN)에 입력하여, 미사전 클래스의 분류에 유용한 시각적 특징을 합성한다.
• KG 임베딩을 조건 입력으로 사용하여, GAN을 엔드 투 엔드 방식으로 훈련함으로써 특징 생성을 안내한다.
• ZSL 및 일반화된 ZSL(GZSL) 환경에서 최근접 이웃 분류를 사용하여 생성된 특징의 성능을 평가한다.
• 개별 시각(클래스 또는 속성)에서의 임베딩과 그 조합의 성능을 비교하여 상호 보완성 여부를 평가한다.

실험 결과

연구 질문

• RQ1 다양한 의미적 측면(계층 구조 및 속성)을 통합한 지식 그래프가 단일 소스의 부가 정보보다 제로샷 러닝 성능을 향상시킬 수 있는가?
• RQ2 KG의 서로 다른 시각(클래스 계층 구조 대비 속성)에서 학습된 클래스 임베딩은 ZSL에서 특징 합성에 어떻게 기여하는가?
• RQ3 생성형 ZSL 모델에서 엔지니어링된 정규화보다 지식 그래프의 풍부한 의미 정보가 더 효과적인가?
• RQ4 속성 시각 및 클래스 시각 임베딩은 얼마나 서로 보완적으로 작용하여, 새로운 클래스의 분류에 적합한 특징을 생성하는가?
• RQ5 KG 임베딩을 조건으로 사용하는 단순한 GAN 아키텍처가, 더 복잡한 정규화를 갖춘 GAN보다 ZSL에서 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• KG-GAN은 일반화된 ZSL에서 ImNet-A에서 39.24%의 Hit@1, ImNet-O에서 30.60%의 Hit@1을 기록하여 최신 기술을 능가한다.
• 속성 시각 KG 임베딩(GA)만으로도 ZSL에서 ImNet-A에서 36.82%의 Hit@1을 달성하며, 클래스 시각 임베딩(GC)의 32.95%보다 뛰어나, 속성이 더 분류에 민감한 의미 정보를 제공함을 시사한다.
• 클래스 시각 및 속성 시각 임베딩(GC+GA)을 조합하면 가장 높은 성능를 기록하며, 이는 두 시각 간의 상호 보완성이 확인됨을 의미한다.
• 정규화 없이도 KG-GAN이 시각 피봇 또는 영혼 샘플 정규화와 같은 고도로 설계된 정규화를 사용하는 기준 모델들을 능가함으로써, 의미 정보가 정규화보다 더 중요함을 입증한다.
• 제거 분석 결과, 특히 계층 구조만으로는 유사한 클래스(예: 말과 점박이무두)를 구분하지 못하는 미세 분류에서 속성 시각이 클래스 시각보다 더 큰 기여를 함을 확인하였다.