[논문 리뷰] Generalized Zero-Shot Recognition based on Visually Semantic Embedding

Pengkai Zhu, Hanxiao Wang외 1명|arXiv (Cornell University)|2018. 11. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 9

한 줄 요약

이 논문은 시각적-의미적 간극을 해소하기 위해 학습된 원형 부분 유형의 낮은 차원 확률 혼합으로 이미지를 표현하는 시각적-의미적 임베딩을 사용하는 새로운 일반화된 제로샷 러닝(GZSL) 방법을 제안한다. 이 방법은 시각적 및 의미적 지도 하에서 벤치마크 데이터셋에서 최신 기법들을 능가하며, 주요 기여로는 의미적 노이즈를 줄이고 일반화 성능을 향상시키는 새로운 시각적 오라클을 제공한다.

ABSTRACT

We propose a novel Generalized Zero-Shot learning (GZSL) method that is agnostic to both unseen images and unseen semantic vectors during training. Prior works in this context propose to map high-dimensional visual features to the semantic domain, we believe contributes to the semantic gap. To bridge the gap, we propose a novel low-dimensional embedding of visual instances that is "visually semantic." Analogous to semantic data that quantifies the existence of an attribute in the presented instance, components of our visual embedding quantifies existence of a prototypical part-type in the presented instance. In parallel, as a thought experiment, we quantify the impact of noisy semantic data by utilizing a novel visual oracle to visually supervise a learner. These factors, namely semantic noise, visual-semantic gap and label noise lead us to propose a new graphical model for inference with pairwise interactions between label, semantic data, and inputs. We tabulate results on a number of benchmark datasets demonstrating significant improvement in accuracy over state-of-the-art under both semantic and visual supervision.

연구 동기 및 목표

• 고차원 시각적 특징이 의미적 해석이 어려운 제로샷 러닝에서의 시각-의미 간극을 해결하기 위해.
• 노이즈가 많은 의미적 데이터의 영향을 줄이기 위해, 더 깔끔한 부분 기반 지도를 제공하는 시각적 오라클을 도입하기 위해.
• 입력, 레이블, 의미 데이터 간의 상호작용을 고려한 3노드 그래픽 모델을 개발하여 개선된 추론을 위해.
• 전통적인 의미 지도보다 시각적-의미 임베딩이 GZSL 설정에서 더 우수한 성능을 보임을 입증하기 위해.
• 다양한 벤치마크 데이터셋에서 의미적 및 시각적 지도 하에서 제안된 방법의 효과성을 검증하기 위해.

제안 방법

• 이미지를 원형 부분 유형이 존재할 가능성을 나타내는 낮은 차원의 확률 행렬로 표현하는 시각적-의미 임베딩을 제안한다.
• 학습 데이터셋 전반에 걸쳐 유한한 부분 유형 집합을 학습하기 위해 다중 어텐션 메커니즘을 사용하여 분리되고 해석 가능한 시각적 표현을 가능하게 한다.
• 입력(X), 레이블(Y), 의미(S) 변수 간의 쌍별 상호작용을 갖는 3노드 그래픽 모델을 도입하며, 기존의 표준 체인 구조(X→S→Y)와는 다릅니다.
• 시각적 특징 기반으로 진정한 부분 유형 가능성 확률을 제공하는 시각적 오라클을 설계하여, 노이즈가 많은 의미 속성보다 더 깔끔한 지도 신호를 제공한다.
• 부분 특징과 혼합 모델을 함께 학습하는 구조적 학습 프레임워크를 활용하여, 부분의 공간적 및 의미적 일관성을 유지한다.
• 의미적 및 시각적 지도 하에서 성능을 평가하고, DEVISE와 같은 강력한 베이스라인과 비교하여 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 낮은 차원의 부분 기반 시각적 임베딩이 제로샷 러닝에서 시각-의미 간극을 효과적으로 줄일 수 있는가?
• RQ2 노이즈가 많은 의미 지도를 시각적 오라클로 대체할 경우 GZSL 모델의 성능은 어떻게 변화하는가?
• RQ3 입력-레이블-의미 간의 상호작용을 모두 포함한 3노드 그래픽 모델이 체인 구조 모델보다 일반화 성능을 얼마나 향상시키는가?
• RQ4 시각적-의미 임베딩이 일반화된 제로샷 설정에서 본 적 있는 클래스와 본 적 없는 클래스 모두에 일반화될 수 있는가?
• RQ5 제안된 방법이 의미적 및 시각적 지도 하에서 최신 기법들을 능가하는가?

주요 결과

• 제안된 시각적-의미 임베딩은 의미 속성 점수와 유사한 부분 유형 가능성 확률을 학습함으로써 시각-의미 간극을 크게 줄였다.
• CUB 데이터셋에서, 시각적 지도 하에서 기준 모델 대비 조화 평균 정확도가 12.8%p 향상되었다.
• AWA2 데이터셋에서, 시각적 지도 하에서 DEVISE 기준 모델을 재학습했을 때 조화 평균 정확도가 13.4%p 향상되었다.
• 구조화된 시각적 임베딩은 전역 특징 표현보다 성능이 뛰어나며, 부분 수준의 구조가 성능에 핵심적임을 시사한다.
• 시각적 오라클은 다양한 데이터셋과 모델에서 일관되게 GZSL 성능을 향상시켜, 존재하는 방법에서 의미적 노이즈가 핵심적 한계임을 입증한다.
• 모든 쌍별 상호작용을 포함한 3노드 그래픽 모델은 체인 구조 모델보다 더 나은 추론 성능을 보였으며, 레이블-의미-입력의 공동 모델링이 중요함을 확인한다.