[논문 리뷰] Zero-Shot Learning from scratch (ZFS): leveraging local compositional representations

Tristan Sylvain, Linda Petrini외 1명|arXiv (Cornell University)|2020. 10. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 8

한 줄 요약

이 논문은 ImageNet에서의 사전 훈련을 금지함으로써 모델이 처음부터 일반화 가능한 표현을 학습하도록 유도하는 새로운 벤치마크인 Zero-Shot Learning from scratch (ZFS)를 소개한다. 이미지 패치에 대한 보조 손실을 통해 국소적 조합 표현을 통합함으로써, 이 방법은 제로샷 정확도를 향상시키며, 특히 AwA2 및 SUN 데이터셋에서 DIM이 ZFS 설정에서 최고 성능을 기록한다.

ABSTRACT

Zero-shot classification is a generalization task where no instance from the target classes is seen during training. To allow for test-time transfer, each class is annotated with semantic information, commonly in the form of attributes or text descriptions. While classical zero-shot learning does not explicitly forbid using information from other datasets, the approaches that achieve the best absolute performance on image benchmarks rely on features extracted from encoders pretrained on Imagenet. This approach relies on hyper-optimized Imagenet-relevant parameters from the supervised classification setting, entangling important questions about the suitability of those parameters and how they were learned with more fundamental questions about representation learning and generalization. To remove these distractors, we propose a more challenging setting: Zero-Shot Learning from scratch (ZFS), which explicitly forbids the use of encoders fine-tuned on other datasets. Our analysis on this setting highlights the importance of local information, and compositional representations.

연구 동기 및 목표

• 제로샷 학습에서 ImageNet 사전 훈련 특징에 대한 과도한 의존성 문제를 해결함으로써 일반화에 대한 근본적인 이해를 명확히 하기 위해.
• 외부 데이터셋에서의 사전 훈련을 금지함으로써 더 엄격한 평가 프레임워크를 구축하고, 목적 데이터셋의 훈련 분할에만 집중하기 위해.
• 사전 훈련이 허용되지 않는 조건에서 국소적이고 조합적인 표현이 제로샷 일반화에 필수적인지 탐구하기 위해.
• ZFS 설정 하에서 보조 국소 손실(라벨 기반 및 속성 기반)의 효과성을 평가하기 위해.
• 미래의 실세계 시나리오에서 새로운 클래스가 등장할 경우 모델의 일반화 능력을 공정하게 평가할 수 있는 벤치마크를 제공하기 위해.

제안 방법

• ImageNet과 같은 외부 데이터셋에서의 사전 훈련을 허용하지 않는 훈련 프로토콜인 Zero-Shot Learning from scratch (ZFS)를 제안한다.
• 작은 사전 훈련되지 않은 인코더(예: DCGAN 기반, AlexNet)를 사용하여 목적 데이터셋의 훈련 분할에서 직접 특징을 학습한다.
• 중간 레이어(예: 세 번째 레이어)에서 특징을 추출하여 국소 표현 학습을 장려하는 국소 목표를 도입한다.
• 이미지 패치 기반의 보조 손실을 적용: 하나는 클래스 레이블을 기반으로 한 손실(LC), 다른 하나는 의미적 속성을 기반으로 한 손실(AC)로 조합적 일반화를 촉진한다.
• 고정된 인코더 특징 위에 프로토타입 네트워크를 훈련시켜 제로샷 분류 성능을 평가한다.
• 표준 훈련 프rotocol를 적용: Adam 옵timizer, 128×128 이미지 리사이징, 훈련 시 랜덤 컷, 추론 시 센터 컷.

실험 결과

연구 질문

• RQ1 ImageNet 사전 훈련 특징에 의존하지 않고도 모델이 강력한 제로샷 일반화 성능을 달성할 수 있는가?
• RQ2 사전 훈련이 없는 조건에서 국소적이고 조합적인 표현은 제로샷 일반화에 어떤 기여를 하는가?
• RQ3 ZFS 설정에서 라벨 기반 보조 손실과 속성 기반 보조 손실 중 어느 것이 더 높은 성능을 낼 수 있는가?
• RQ4 DCGAN과 AlexNet과 같은 인코더 아키텍처의 선택이 ZFS 하에서 성능에 영향을 미치는가?
• RQ5 국소성을 본질적으로 강조하는 모델인 DIM은 ZFS 벤치마크에서 다른 모델들을 능가할 수 있는가?

주요 결과

• 국소 보조 손실의 추가는 모든 모델과 데이터셋에서 일관되게 Top-1 정확도를 향상시키며, 국소 표현의 중요성을 확인한다.
• CUB 데이터셋에서 속성 기반 국소 손실을 사용한 DIM 모델은 Top-1 정확도 42.55%를 기록하며, 완전히 지도 학습된 FC 베이스라인을 초월한다.
• AwA2에서 DIM 모델은 속성 기반 국소 손실을 사용해 Top-1 정확도 43.62%를 달성하며, FC 베이스라인과 다른 모델들을 크게 앞서간다.
• SUN에서 DIM 모델은 속성 기반 국소 손실을 사용해 Top-1 정확도 34.38%를 기록하며, ZFS 하에서 강력한 일반화 능력을 보여준다.
• VAE와 AAE와 같은 모델에서는 라벨 기반 국소 손실이 속성 기반 손실보다 성능이 뛰어나지만, DIM에서는 반대로 속성 기반 손실이 더 우수하여, 조합적 학습에 민감함을 보인다.
• 결과적으로, 사전 훈련이 없는 조건에서 국소성과 조합성이 제로샷 일반화에 매우 중요하며, 특히 도전적인 실세계 설정에서 그러한 특성이 핵심임을 검증한다.