[논문 리뷰] Generative Multi-Label Zero-Shot Learning

Akshita Gupta, Sanath Narayan외 4명|arXiv (Cornell University)|2021. 01. 27.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 다중 레이블 제로샷 학습(ML-ZSL)을 위한 새로운 생성적 접근법을 제안하며, 다중 레이블 클래스 임베딩에서 의미적으로 일관된 시각적 특징을 합성하기 위해 수직 수준 특징 융합(CLF)을 사용한다. 속성 수준과 특징 수준의 융합을 결합함으로써 CLF는 레이블 간 의존성 모델링과 클래스별 구분 능력을 향상시켜, 일반화된 ZSL 및 제로샷 객체 검출 모두에서 NUS-WIDE, Open Images, MS COCO 벤치마크에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Multi-label zero-shot learning strives to classify images into multiple unseen categories for which no data is available during training. The test samples can additionally contain seen categories in the generalized variant. Existing approaches rely on learning either shared or label-specific attention from the seen classes. Nevertheless, computing reliable attention maps for unseen classes during inference in a multi-label setting is still a challenge. In contrast, state-of-the-art single-label generative adversarial network (GAN) based approaches learn to directly synthesize the class-specific visual features from the corresponding class attribute embeddings. However, synthesizing multi-label features from GANs is still unexplored in the context of zero-shot setting. In this work, we introduce different fusion approaches at the attribute-level, feature-level and cross-level (across attribute and feature-levels) for synthesizing multi-label features from their corresponding multi-label class embedding. To the best of our knowledge, our work is the first to tackle the problem of multi-label feature synthesis in the (generalized) zero-shot setting. Comprehensive experiments are performed on three zero-shot image classification benchmarks: NUS-WIDE, Open Images and MS COCO. Our cross-level fusion-based generative approach outperforms the state-of-the-art on all three datasets. Furthermore, we show the generalization capabilities of our fusion approach in the zero-shot detection task on MS COCO, achieving favorable performance against existing methods. The source code is available at https://github.com/akshitac8/Generative_MLZSL.

연구 동기 및 목표

• 학습 예제가 없는 미사용 클래스의 임베딩에서 다중 레이블 시각적 특징을 합성하는 데 도전하는 것.
• 기존 방법이 주로 주의 메커니즘 또는 단일 레이블 특징 합성에 의존하여 다중 레이블 환경에서 레이블 상관관계와 클래스별 세부 정보를 효과적으로 모델링하지 못하는 한계를 극복하는 것.
• 속성, 특징, 수직 수준 등 여러 수준에서 다중 레이블 정보를 융합하는 통합 생성 프레임워크를 설계하여 특징 품질과 분류 정확도를 향상시키는 것.
• 제안된 방법이 다중 레이블 제로샷 분류 및 제로샷 객체 검출 양쪽 모두에서 평가되어, 다양한 작업과 벤치마크에서 일반화 능력을 입증하는 것.
• 속성과 특징 표현의 수직 수준 융합을 사용한 생성적 다중 레이블 제로샷 학습의 새로운 SOTA 기준을 설정하는 것.

제안 방법

• 세 가지 융합 전략을 제안: 속성 수준 융합(ALT), 특징 수준 융합(FLF), 수직 수준 융합(CLF)으로, CLF가 주요 기여이다.
• 생성적 적대 신경망(GAN) 프레임워크를 사용하며, 생성자는 클래스 속성 임베딩에서 시각적 특징을 합성한다. CLF는 ALF와 FLF의 이중적 맥락을 통합한다.
• CLF에서는 개별 클래스 특징이 클래스별 임베딩에서 생성되고, 이후 전역(속성 수준)과 국소(특징 수준) 표현을 조합하는 이중 맥락 기반 주의 메커니즘을 통해 처리된다.
• 수직 수준 융합에서 풍부화된 특징에 풀링 연산을 적용하여 최종 다중 레이블 시각적 특징 표현을 도출한다. 이는 분류 또는 검출에 사용된다.
• CLF 생성자를 두 가지 생성 아키텍처에 적응시켜 사용: 하나는 다중 레이블 분류용, 다른 하나는 제로샷 객체 검출용으로, 동일한 융합 메커니즘을 사용한다.
• 생성자를 훈련시켜 본 클래스의 특징에 대한 데이터 분포를 학습함으로써, 미사용 클래스에 대해 합성된 특징가 의미적으로 일관되고 구분 가능한 성질을 갖도록 한다.

실험 결과

연구 질문

• RQ1 제로샷 학습 환경에서 다중 레이블 클래스 속성 임베딩에서 다중 레이블 시각적 특징을 효과적으로 합성할 수 있는가?
• RQ2 주의 메커니즘에 의존하지 않고도, 동시에 발생하는 여러 클래스 간의 레이블 의존성을 특징 합성 과정에서 어떻게 모델링할 수 있는가?
• RQ3 속성 수준 융합과 특징 수준 융합을 결합하면 제로샷 특징 생성에서 클래스별 구분 능력과 다중 레이블 상관관계 모델링 능력이 향상되는가?
• RQ4 생성적 CLF 기반 접근법은 제로샷 객체 검출에 일반화되어, 미사용 클래스에서 경쟁적인 성능을 달성할 수 있는가?
• RQ5 단독으로 사용하는 속성 수준 또는 특징 수준 융합보다 수직 수준 융합이 다중 레이블 제로샷 분류 및 검출에서 더 효과적인가?

주요 결과

• 제안된 수직 수준 융합(CLF) 접근법은 일반화된 제로샷 학습에서 NUS-WIDE, Open Images, MS COCO의 세 가지 주요 벤치마크에서 최신 기술(SOTA)을 초월한다.
• CLF는 속성 수준 융합(ALF)과 특징 수준 융합(FLF)보다 일관된 성능 향상을 보이며, 다중 레이블 분류에서 잠재적 오류(거짓 양성)를 감소시키고 참 양성 수를 증가시킨다.
• CLF는 ALF와 FLF가 놓친 클래스, 예를 들어 '하늘', '구름', '산호', '산' 등을 정확히 예측하여, 레이블 상관관계 모델링 능력 향상을 입증한다.
• MS COCO에서 제로샷 객체 검출에서도 유리한 성능을 기록하여, '스노우보드', '기차', '비행기', '고양이'와 같은 미사용 클래스를 훈련 예제 없이 정확히 검출한다.
• CLF는 표준 다중 레이블 분류에 잘 일반화되어 대규모 벤치마크에서 경쟁적인 성능을 보이며, 제로샷 설정 외부에서도 강건함을 입증한다.
• 정성적 결과에서는 CLF가 거짓 양성(예: '눈', '도시')을 줄이고 예측 일관성을 향상시켜, 이중 맥락 통합의 효과성을 확인한다.