[논문 리뷰] Locality and compositionality in zero-shot learning

Tristan Sylvain, Linda Petrini외 1명|arXiv (Cornell University)|2019. 12. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 21

한 줄 요약

이 논문은 ImageNet과 같은 데이터셋에서의 사전 훈련을 제외함으로써 표현 학습에서 局소성과 조합성의 역할을 분리하기 위해 Zero-Shot Learning from Scratch (ZFS)라는 새로운 벤치마크를 도입한다. 국소적 특징 추출과 조합적 구조에 중점을 두는 모델이 제로샷 이미지 분류에서 유의미하게 더 잘 일반화됨을 보여주며, 이러한 특성과 ZSL 정확도 사이에 강한 상관관계가 있음을 확인한다. 특히 CUB와 AwA2와 같이 의미적으로 유의미한 속성을 가진 데이터셋에서 그러한 상관관계가 뚜렷하다.

ABSTRACT

In this work we study locality and compositionality in the context of learning representations for Zero Shot Learning (ZSL). In order to well-isolate the importance of these properties in learned representations, we impose the additional constraint that, differently from most recent work in ZSL, no pre-training on different datasets (e.g. ImageNet) is performed. The results of our experiments show how locality, in terms of small parts of the input, and compositionality, i.e. how well can the learned representations be expressed as a function of a smaller vocabulary, are both deeply related to generalization and motivate the focus on more local-aware models in future research directions for representation learning.

연구 동기 및 목표

• ImageNet과 같은 외부 데이터셋에서의 사전 훈련을 제거하여 제로샷 학습(ZSL)에 더 현실적인 평가 프레임워크를 개발하기 위해.
• 국소성(작은 입력 부분에 집중함)과 조합성(더 작은 어휘의 함수로서 표현을 나타냄)이 ZSL에서 일반화의 핵심 요인인지 여부를 조사하기 위해.
• 국소성과 조합성에 대한 암시적 또는 명시적 적합도를 중심으로, 다양한 표현 학습 방법이 ZFS 설정에서 어떻게 성능을 내는지 평가하기 위해.
• 국소성과 조합성을 학습된 표현에서 탐색하고 측정하기 위한 새로운 방법과 시각화 도구를 제안하기 위해.
• 재구성 기반 모델(VAE 등)이 제로샷 일반화에 필요한 의미적 구조를 포착하지 못함을 경험적으로 입증하기 위해.

제안 방법

• 외부 데이터에서의 사전 훈련 없이, 타겟 데이터셋의 훈련 세트에서만 훈련되는 Zero-Shot Learning from Scratch (ZFS)를 제안한다.
• ZFS 설정 하에서 제로샷 일반화 성능을 평가하기 위해, 학습된 특징 위에 원형 네트워크를 적용한다.
• 국소적이고 조합적인 특징 학습을 장려하기 위해, 동일한 레이블을 가진 다른 이미지의 국소 패치 표현을 양성 샘플로 사용하는 새로운 Deep InfoMax(DIM)의 변형을 도입한다.
• 상호정보량 기반의 새로운 시각화 기법을 개발하여 표현의 국소적 특성을 분석하고, 모델이 이미지의 어떤 부분에 주목하는지 해석 가능하게 한다.
• 표현의 조합성을 측정하기 위한 프록시로 총 표현 엔트로피(TRE) 비율을 사용한다. 이는 작은 의미 있는 부분 집합이 표현의 어느 정도를 설명하는지를 측정한다.
• 다양한 데이터셋과 모델 패밀리에서 국소성 프록시(예: 파트 비율)와 조합성 프록시(예: TRE 비율)를 ZSL 정확도와 상관관계 분석한다.

실험 결과

연구 질문

• RQ1 사전 훈련을 배제할 경우, 학습된 표현의 국소성과 조합성이 제로샷 일반화 성능을 얼마나 잘 예측할 수 있는가?
• RQ2 감독 학습, 자기지도 학습, VAE 등 다양한 표현 학습 방법은 국소성과 조합성에 대해 암시적 또는 명시적으로 얼마나 적합한가?
• RQ3 국소적 양성 샘플 기반의 새로운 Deep InfoMax 변형이 ZFS 설정에서 ZSL를 위한 표현 품질을 향상시킬 수 있는가?
• RQ4 VAE와 같은 재구성 기반 모델은 의미적 구조를 포착하는 데 어떻게 성능을 내며, 왜 실패하는가?
• RQ5 속성의 의미적 유의미성과 조합성 프록시 및 ZSL 정확도 사이의 상관관계 강도 사이의 관계는 어떠한가?

주요 결과

• ZFS 벤치마크는 국소성과 조합성을 강조하는 모델이 의미적으로 의미 있는 속성을 가진 데이터셋에서 특히 더 잘 일반화됨을 드러낸다.
• CUB 데이터셋에서 TRE 비율(조합성의 프록시)과 ZSL 정확도 사이에 강한 음의 상관관계(r = -0.90)가 존재하여, 낮은 TRE 비율일수록 성능이 높다는 것을 시사한다.
• AwA2에서는 TRE 비율과 ZSL 정확도 사이의 상관관계도 유의미하지만(CORB = -0.60), CUB에 비해 약간 덜 강하다. 이는 속성의 품질이 관계의 강도에 영향을 준다는 것을 시사한다.
• SUN에서는 속성이 이미지별로 할당되고 의미적으로 일관성이 없어, TRE 비율과 ZSL 정확도 사이의 상관관계는 약하다(r = -0.30). 이는 속성의 품질이 조합성 프록시의 효과성을 조절한다는 것을 의미한다.
• 국소적 표현을 평균화하는 것(명시적 조합성의 형태)은 CUB와 AwA2에서 ZSL 성능을 향상시키며, 특히 구체적인 부분(예: 부리, 꼬리)이 몇 개뿐일 경우에 더 두드러진다.
• VAE는 파트 비율과 속성 유사도 사이에 상관관계가 없지만, SSIM와는 강한 음의 상관관계를 보이며, 이는 픽셀 수준의 유사성에 집중함을 의미한다. 이는 ZSL에 있어 유용성을 떨어뜨린다.