[논문 리뷰] Semantic Graph-enhanced Visual Network for Zero-shot Learning

Yang Hu, Guihua Wen외 6명|arXiv (Cornell University)|2020. 06. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 62인용 수 4

한 줄 요약

이 논문은 CNN에서 추출한 시각적 특징을 GCN를 통해 지식 그래프와 통합하여 의미 관계를 모델링하는 그래프 기반 시각-의미 엔트로피 네트워크를 제안한다. 속성 어휘 벡터를 감독 신호로 사용하여 시각적 임bedding 내의 의미적 연결을 향상시킨다. 이 방법은 AwA2, CUB, SUN에서 제로샷 학습 성능을 향상시켜 시각적 임베딩 내의 의미적 연결성을 강화한다.

ABSTRACT

Zero-shot learning uses semantic attributes to connect the search space of unseen objects. In recent years, although the deep convolutional network brings powerful visual modeling capabilities to the ZSL task, its visual features have severe pattern inertia and lack of representation of semantic relationships, which leads to severe bias and ambiguity. In response to this, we propose the Graph-based Visual-Semantic Entanglement Network to conduct graph modeling of visual features, which is mapped to semantic attributes by using a knowledge graph, it contains several novel designs: 1. it establishes a multi-path entangled network with the convolutional neural network (CNN) and the graph convolutional network (GCN), which input the visual features from CNN to GCN to model the implicit semantic relations, then GCN feedback the graph modeled information to CNN features; 2. it uses attribute word vectors as the target for the graph semantic modeling of GCN, which forms a self-consistent regression for graph modeling and supervise GCN to learn more personalized attribute relations; 3. it fuses and supplements the hierarchical visual-semantic features refined by graph modeling into visual embedding. By promoting the semantic linkage modeling of visual features, our method outperforms state-of-the-art approaches on multiple representative ZSL datasets: AwA2, CUB, and SUN.

연구 동기 및 목표

• 제로샷 학습(ZSL)에서 사용되는 심층 시각적 특징의 심각한 패턴 관성과 의미 관계 모델링 부족 문제를 해결한다.
• 지식 그래프를 통해 의미 관계를 명시적으로 모델링하여 시각적 특징 표현의 편향과 모호성을 감소시킨다.
• 그래프 모델링을 통해 정제된 계층적 시각-의미 특징을 융합하여 제로샷 일반화 성능을 향상시킨다.
• 어휘 벡터를 사용하여 시각적 특징과 의미 속성 간의 자기 일관성 있는 회귀 프레임워크를 수립한다.

제안 방법

• CNN를 통한 시각적 특징 추출과 GCN를 통한 시각적 특징 간 암묵적인 의미 관계 모델링을 연결하는 다중 경로 엔트로피 네트워크를 설계한다.
• CNN 처리된 시각적 특징을 GCN에 입력하여 의미 관계를 인코딩하는 그래프 구조의 표현을 학습한다.
• 속성 어휘 벡터를 타겟 신호로 사용하여 GCN 학습을 감독함으로써 개인화된 속성 관계 학습을 위한 자기 일관성 있는 회귀를 가능하게 한다.
• GCN에서 유도된 계층적 시각-의미 특징을 CNN 특징으로 다시 융합하고 정제하여 풍부한 시각적 임베딩을 생성한다.
• 시각적 특징을 의미 속성과 연결하는 지식 그래프를 구축하여 구조화된 의미 모델링을 가능하게 한다.
• 시각적 특징 품질과 의미 정렬을 동시에 최적화하는 공동 손실을 사용하여 엔드 투 엔드 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 그래프 기반의 시각적 특징 모델링이 제로샷 학습에서 의미 관계 표현을 향상시키는가?
• RQ2 속성 어휘 벡터를 감독 신호로 사용할 경우 GCN의 의미 관계 학습에 어떤 영향을 미치는가?
• RQ3 CNN와 GCN 특징을 엔트로피화하는 것이 시각적 특징의 패턴 관성 문제를 어느 정도 감소시키는가?
• RQ4 제안된 방법이 표준 벤치마크에서 최신 기술 대비 더 나은 제로샷 일반화 성능을 달성하는가?

주요 결과

• 제안된 방법은 AwA2 데이터셋에서 최신 기술 대비 우수한 성능을 기록하며 제로샷 분류 정확도를 향상시켰다.
• CUB 데이터셋에서 모델은 더 잘 드러나는 미세한 의미 관계를 포괄함으로써 더 강력한 일반화 성능을 보였다.
• SUN 데이터셋에서의 뛰어난 성능은 다양한 시각-의미 공간에서의 강건성을 시사한다.
• GCN와 CNN의 융합 및 속성 감독의 통합은 더 개인화되고 의미적으로 일관된 시각적 임베딩을 생성한다.
• 제거 실험 결과 각 구성 요소—다중 경로 엔트로피, 속성 감독, 특징 융합—이 성능 향상에 기여하는 것으로 확인되었다.
• 그래프 기반 지식을 통해 의미 관계를 명시적으로 모델링함으로써 특징의 모호성과 편향을 감소시켰다.