[논문 리뷰] A Large-scale Attribute Dataset for Zero-shot Learning

Bo Zhao, Yanwei Fu외 4명|arXiv (Cornell University)|2018. 04. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 47인용 수 6

한 줄 요약

이 논문은 78,017장의 이미지와 230개의 클래스를 포함하며 다섯 개인 슈퍼클래스(동물, 과일, 차량, 전자기기, 헤어스타일)로 구성된 대규모 속성 데이터셋(LAD)을 소개한다. 이 데이터셋은 359개의 시각적, 의미적, 주관적 속성으로 레이블링되어 있으며, 다중 객체 이미지의 제거를 통해 공존 편향을 줄이고, 도전적인 제로샷 학습 및 생성 작업을 가능하게 한다. 결과적으로 심층적인 세분화된 속성, 특히 '헤어스타일' 슈퍼클래스에서 심지어 최신 기술 모델들도 어려움을 겪는 것으로 나타났다.

ABSTRACT

Zero-Shot Learning (ZSL) has attracted huge research attention over the past few years; it aims to learn the new concepts that have never been seen before. In classical ZSL algorithms, attributes are introduced as the intermediate semantic representation to realize the knowledge transfer from seen classes to unseen classes. Previous ZSL algorithms are tested on several benchmark datasets annotated with attributes. However, these datasets are defective in terms of the image distribution and attribute diversity. In addition, we argue that the "co-occurrence bias problem" of existing datasets, which is caused by the biased co-occurrence of objects, significantly hinders models from correctly learning the concept. To overcome these problems, we propose a Large-scale Attribute Dataset (LAD). Our dataset has 78,017 images of 5 super-classes, 230 classes. The image number of LAD is larger than the sum of the four most popular attribute datasets. 359 attributes of visual, semantic and subjective properties are defined and annotated in instance-level. We analyze our dataset by conducting both supervised learning and zero-shot learning tasks. Seven state-of-the-art ZSL algorithms are tested on this new dataset. The experimental results reveal the challenge of implementing zero-shot learning on our dataset.

연구 동기 및 목표

• 기존의 제로샷 학습(ZSL) 데이터셋이 지닌 한계, 즉 규모가 작고, 속성의 다양성이 부족하며, 다중 객체 이미지로 인한 공존 편향을 해결하기 위해.
• 세분화된 지식 전이를 다중 시각적 도메인에서 지원할 수 있는 대규모, 다양한, 균형 잡힌 속성 데이터셋을 개발하기 위해.
• 특히 '사람'과 '개' 사이의 인위적인 상관관계를 줄이기 위해, 단일 배경 객체만 포함하는 이미지 수집을 통해 공존 편향을 감소시키기 위해.
• 실제적이고 복잡하며 세분화된 속성 조건에서 ZSL 및 제로샷 생성(ZSG) 알고리즘을 평가할 수 있는 새로운 벤치마크를 제공하기 위해.
• 시각적 속성 외에도 의미적, 주관적 특성(예: 다이어트, 기능, 섭취 가능성, 안전성, 인간의 감정)을 포함시켜 더 견고하고 일반화 가능한 ZSL 모델 개발을 가능하게 하기 위해.

제안 방법

• 데이터셋은 동물, 과일, 차량, 전자기기, 헤어스타일의 다섯 개 슈퍼클래스로 구성되며, 각 도메인에 맞는 고유한 속성들을 포함한다.
• 이미지는 다양한 출처에서 수집되며, 공존 편향을 최소화하기 위해 단일 객체 장면으로만 필터링된다.
• 359개의 속성이 개별 인스턴스 수준에서 레이블링되며, 이는 시각적(예: 색상, 형태), 의미적(예: 다이어트, 기능), 주관적(예: 안전성, 인간의 감정) 특성을 포함한다.
• 세분화된 분류에 유의미하고 구분 가능한 속성들을 확보하기 위해 각 슈퍼클래스별로 고유한 레이블 목록을 설계하였다.
• 7개의 최신 ZSL 알고리즘을 LAD에서 감독 학습 및 제로샷 학습 프로토콜을 사용해 평가하였다.
• 제로샷 생성을 위해, 속성 벡터를 조건으로 사용하는 조건부 DCGAN을 훈련시켜 알려지지 않은 클래스의 새로운 속성 조합을 가진 이미지를 생성하였다.

실험 결과

연구 질문

• RQ1 대규모, 다양한, 편향 감소된 속성 데이터셋은 제로샷 학습 모델의 일반화 능력과 견고성을 향상시킬 수 있는가?
• RQ2 공존 편향(예: '사람'과 '개'의 빈번한 조합)은 ZSL 모델 성능에 얼마나 부정적인 영향을 미치는가?
• RQ3 세분화된 카테고리에서 시각적 속성 외에도 의미적, 주관적 속성이 포함된 경우 제로샷 학습은 얼마나 도전적인가?
• RQ4 최신 ZSL 모델들은 LAD와 같은 높은 다양성과 세분화된 특성을 가진 데이터셋에서 알려지지 않은 클래스로 일반화하는 데 효과적으로 기능하는가?
• RQ5 조건부 GAN은 새로운 속성 표현을 기반으로 알려지지 않은 클래스의 신뢰할 수 있는 이미지를 성공적으로 생성할 수 있는가?

주요 결과

• LAD 데이터셋은 총 78,017장의 이미지, 230개의 클래스, 359개의 속성을 포함하며, 가장 인기 있는 네 개의 속성 데이터셋의 총 이미지 수를 초과한다.
• 모든 7개의 최신 ZSL 알고리즘이 '헤어스타일' 슈퍼클래스에서 매우 낮은 성능을 보였으며, 단지 6개의 알려지지 않은 클래스가 있는 경우에도 어려움을 겪었다. 이는 높은 난이도를 시사한다.
• SOC 방법(2009)이 '헤어스타일' 슈퍼클래스에서 모든 현대 ZSL 알고리즘을 앞서며, 현재의 모델들이 주관적 또는 세분화된 속성에 최적화되어 있지 않을 수 있음을 시사한다.
• AwA에서 공존 편향이 경험적으로 검증되었으며, '사람'이 15개의 동물 클래스에서 10퍼센트 이상의 이미지에 나타나며, AwA에서 훈련된 GAN은 실제 이미지에 '사람'이 존재하지 않더라도 '사람'을 생성한다.
• 조건부 DCGAN은 알려지지 않은 클래스의 타당한 이미지를 성공적으로 생성하였다(예: '수영할 수 있음'과 '날 수 있음'을 동시에 가짐). 이는 LAD에서 제로샷 생성의 가능성을 입증한다.
• 데이터셋은 다중 객체로 구성된 편향된 데이터셋에서 훈련된 모델이 인위적인 상관관계를 학습하여 새로운 도메인에서 잘못된 분류 및 일반화 능력 저하를 겪을 수 있음을 드러냈다.