[논문 리뷰] TransZero++: Cross Attribute-Guided Transformer for Zero-Shot Learning

Shiming Chen, Ziming Hong외 7명|arXiv (Cornell University)|2021. 12. 16.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

TransZero++는 영역 간 특성 지도 기반 트랜스포머 네트워크를 제안하여 제로샷 러닝을 수행하며, 특성-시각(авт) 및 시각-특성(ват)이라는 이중 서브넷을 통해 의미론적 보완 시각 임베딩을 의미론적 협업 학습을 통해 학습합니다. 이는 세 가지 표준 ZSL 벤치마크 및 ImageNet에서 최신 기술 수준의 성능을 달성하였으며, 특성 국소화를 개선하고 시각-의미 간 상호작용을 강화함으로써 성능을 향상시켰습니다.

ABSTRACT

Zero-shot learning (ZSL) tackles the novel class recognition problem by transferring semantic knowledge from seen classes to unseen ones. Existing attention-based models have struggled to learn inferior region features in a single image by solely using unidirectional attention, which ignore the transferability and discriminative attribute localization of visual features. In this paper, we propose a cross attribute-guided Transformer network, termed TransZero++, to refine visual features and learn accurate attribute localization for semantic-augmented visual embedding representations in ZSL. TransZero++ consists of an attribute$ ightarrow$visual Transformer sub-net (AVT) and a visual$ ightarrow$attribute Transformer sub-net (VAT). Specifically, AVT first takes a feature augmentation encoder to alleviate the cross-dataset problem, and improves the transferability of visual features by reducing the entangled relative geometry relationships among region features. Then, an attribute$ ightarrow$visual decoder is employed to localize the image regions most relevant to each attribute in a given image for attribute-based visual feature representations. Analogously, VAT uses the similar feature augmentation encoder to refine the visual features, which are further applied in visual$ ightarrow$attribute decoder to learn visual-based attribute features. By further introducing semantical collaborative losses, the two attribute-guided transformers teach each other to learn semantic-augmented visual embeddings via semantical collaborative learning. Extensive experiments show that TransZero++ achieves the new state-of-the-art results on three challenging ZSL benchmarks. The codes are available at: \url{https://github.com/shiming-chen/TransZero_pp}.

연구 동기 및 목표

• 단방향 어텐션에 의해 유도되는 지역 특성의 이식성 및 구분성 향상에 한계를 가진 기존 어텐션 기반 ZSL 모델의 문제점을 해결하기 위해.
• 의도적으로 객체 특성을 키워드로 삼아 의미 지식을 전달하기 위해 시각-의미 상호작용을 명시적으로 향상시키기 위해.
• 두 트랜스포머 간의 협업 학습을 통해 의미론적 보완 시각 임베딩을 학습하여 일반화된 ZSL에서의 편향 문제를 해결하기 위해.
• 클래스 의미 벡터와 함께 특성 기반 및 시각 기반 표현을 융합하여 본래의 ZSL 설정에서 본래의 클래스에 대한 지식 전달을 효과적으로 가능하게 하기 위해.

제안 방법

• 이중 브랜치 트랜스포머 아키텍처 제안: 특성-시각 트랜스포머(авт)와 시각-특성 트랜스포머(ват)로 구성되며, 각각 전용 인코더와 디코더를 갖춤.
• авт와 ват에 특성 보완 인코더를 도입하여 시각적 특징의 구분성 향상 및 엉키는 지역 관계 감소.
• ав트에 특성-시각 디코더와, ват에 시각-특성 디코더를 도입하여 국소화된 특성 표현과 시각적 특징을 학습.
• 특성 수준 및 예측 수준의 의미론적 협업 손실을 적용하여, 의미론적 보완 시각 임베딩을 위한 상호 지식 전이를 가능하게 함.
• 학습 가능한 조합 계수 α를 사용하여, 자율적 보완 임베딩을 자동으로 융합함으로써 상호 보완 정보를 균형 있게 조합.
• 최종 융합 임베딩을 클래스 의미 벡터와 통합하여 유도적 ZSL 설정 하에서 제로샷 분류를 수행함.

실험 결과

연구 질문

• RQ1 특성와 시각적 특징 간의 교차 어텐션 메커니즘이 ZSL에서 특성 국소화를 향상시키고, 더 구분 가능한 특징 학습을 가능하게 하는가?
• RQ2 서로 보완적인 두 트랜스포머(авт 및 ват) 간의 의미론적 협업 학습이 시각-의미 임베딩의 강건성과 이식성에 어떻게 기여하는가?
• RQ3 특성 기반 및 시각 기반 표현의 융합이 표준 벤치마크에서 제로샷 분류 정확도에 얼마나 기여하는가?
• RQ4 모델 성능이 조합 계수 α 및 손실 가중치와 같은 하이퍼파rameter에 얼마나 민감한가? 최적 설정은 무엇인가?

주요 결과

• TransZero++는 CUB, SUN 및 AWA2 벤치마크에서 새로운 최신 기술 수준의 성능을 달성하였으며, 제로샷 분류 정확도에서 뚜렷한 향상을 보였다.
• 일반화된 ZSL 설정 하에서 CUB 데이터셋에서 78.6%의 top-1 정확도와 SUN 데이터셋에서 61.8%의 정확도를 기록하여 기존 방법을 능가하였다.
• 광범위한 아블레이션 연구 결과, CUB에서는 α = 0.9, SUN에서는 α = 0.6일 때 성능이 최적임을 확인하였으며, 이는 자동으로 AVT의 기여가 더 크다는 것을 시사한다.
• λf_SCL 및 λp_SCL의 작은 값에 대해 모델 성능은 상대적으로 민감하지 않지만, λAR 및 λSC를 너무 높게 설정할 경우 성능이 급격히 저하됨을 확인하여, 이들 하이퍼파rameter가 최적화 과정에서 핵심적인 역할을 한다는 것을 입증하였다.
• AVT 및 VAT 양쪽 모두에서 작은 트랜스포머 아키텍처(1층, 1헤드)를 사용할 경우 더 우수한 일반화 성능를 보였으며, 이는 중간 규모 ZSL 데이터셋에서 과적합을 줄일 수 있기 때문일 것이다.
• 의미론적 협업 학습 메커니즘이 효과적으로 시각-의미 정렬을 향상시켰음을 입증하였으며, 이는 향상된 특징 분리 및 특성 국소화를 통해 확인되었다.