[논문 리뷰] Simple and effective localized attribute representations for zero-shot learning

Shiqi Yang, Kai Wang외 2명|arXiv (Cornell University)|2020. 06. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 9

한 줄 요약

이 논문은 시각적 공간이 아닌 의미 공간에서 소속 특성 표현을 국소화하는 간단하면서도 효과적인 제로샷 학습 방법인 SELAR를 제안한다. 특성 맵에 1x1 합성곱 층을 적용한 후 전역 최대 풀링(GMP)을 적용하여 의미 공간 내에서의 국소화된 특성 표현을 구현함으로써, CUB와 AWA2에서 최신 기술 수준의 성능을 달성한다. 일반화 성능이 향상되고 본 적 있는 클래스에 대한 편향이 감소하여 복잡한 주의 기반 방법들을 능가한다.

ABSTRACT

Zero-shot learning (ZSL) aims to discriminate images from unseen classes by exploiting relations to seen classes via their semantic descriptions. Some recent papers have shown the importance of localized features together with fine-tuning the feature extractor to obtain discriminative and transferable features. However, these methods require complex attention or part detection modules to perform explicit localization in the visual space. In contrast, in this paper we propose localizing representations in the semantic/attribute space, with a simple but effective pipeline where localization is implicit. Focusing on attribute representations, we show that our method obtains state-of-the-art performance on CUB and SUN datasets, and also achieves competitive results on AWA2 dataset, outperforming generally more complex methods with explicit localization in the visual space. Our method can be implemented easily, which can be used as a new baseline for zero shot-learning. In addition, our localized representations are highly interpretable as attribute-specific heatmaps.

연구 동기 및 목표

• 사용자 지정 클래스에 대한 훈련 이미지가 제공되지 않는 제로샷 학습의 과제를 해결하기 위해.
• 일반화된 제로샷 학습(GZSL) 환경에서 본 적 있는 클래스에 대한 내재된 편향을 줄이기 위해.
• 시각적 공간이 아닌 의미 공간에서 특성 표현을 국소화하여 특성의 전이 가능성과 구별 능력을 향상시키기 위해.
• 국소화된 특성 표현 성능에 영향을 미치는 공간 집계 전략의 영향을 탐색하기 위해.
• 복잡한 주의 기반 방법들을 능가하는 단순하고 해석 가능하며 효과적인 제로샷 학습 기반 모델을 제안하기 위해.

제안 방법

• 특성의 의미 공간 투영 이전에 공간 집계(GAP 또는 GMP)를 적용함으로써 ZSL 파이프라인의 순서를 재정렬하여 특성 공간 내에서 암묵적인 국소화를 가능하게 한다.
• 1x1 합성곱 층을 사용하여 시각적 특징을 특성별로 고유한 표현 공간으로 투영함으로써 각 특성에 해당하는 특성 맵을 생성한다.
• 이러한 특성 맵에 전역 최대 풀링(GMP)을 적용하여 분류를 위한 압축되고 구별 가능한 전역 표현을 생성한다.
• 복잡한 주의 메커니즘 또는 추가 하이퍼파rameter를 피하기 위해 표준 크로스 엔트로피 손실을 사용하여 모델을 훈련시킨다.
• 피팅 및 비피팅 설정 모두를 지원하여 본 적 없는 클래스로의 전이 능력을 향상시킨다.
• 각 이미지 영역이 각 특성과 관련이 있는지 확인할 수 있도록 특성별 해시맵을 생성한다.

실험 결과

연구 질문

• RQ1 의미 공간에서 특성 표현을 국소화하는 것이 시각적 공간에서의 국소화보다 제로샷 학습에서 더 높은 성능을 내는가?
• RQ2 전역 최대 풀링과 같은 간단한 공간 집계 전략이 일반화된 제로샷 학습에서 성능을 크게 향상시킬 수 있는가?
• RQ3 집계 방법(GAP 대비 GMP)의 선택이 본 적 있는 클래스와 본 적 없는 클래스의 정확도 균형에 어떤 영향을 미치는가?
• RQ4 명시적인 주의 또는 부분 탐지 모듈이 없는 방법이 제로샷 학습에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 제안된 방법이 GZSL 환경에서 본 적 있는 클래스에 대한 편향을 어느 정도 감소시키는가?

주요 결과

• SELAR는 비피팅 설정에서 CUB 데이터셋에서 88.7%의 top-1 정확도를 기록하며 최신 기술 수준의 성능을 달성했고, 피팅 설정에서는 89.1%를 기록했다.
• AWA2 데이터셋에서는 피팅 설정에서 85.6%의 top-1 정확도, 비피팅 설정에서는 84.9%를 기록하여 더 복잡한 방법들을 능가했다.
• SUN 데이터셋에서는 피팅 설정에서 63.8%의 top-1 정확도, 비피팅 설정에서는 62.5%를 기록하여 강력한 일반화 능력을 보였다.
• SELAR-GMP는 SUN 제외 모든 데이터셋에서 본 적 있는 클래스/본 적 없는 클래스 정확도 비율(S/U)이 가장 낮아 본 적 있는 클래스에 대한 편향이 감소한 것으로 나타났다.
• 피팅 설정에서 CUB에서는 조화 평균(H)이 75.6, AWA2에서는 72.1을 기록하여 본 적 있는 클래스와 본 적 없는 클래스의 성능 균형이 뛰어나다는 것을 입증했다.
• 시각화 결과는 특성 맵에서 고활성 영역이 일관되게 해당 특성과 일치함을 확인하여 해석 가능성의 타당성을 입증했다.