[논문 리뷰] Attribute Prototype Network for Zero-Shot Learning

Wenjia Xu, Yongqin Xian외 3명|arXiv (Cornell University)|2020. 08. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 44인용 수 8

한 줄 요약

이 논문은 속성 회귀와 분산 제거를 통해 전역 및 국소적 이미지 특징을 동시에 학습함으로써 제로샷 학습을 향상시키는 약한 지도 학습 프레임워크인 속성 프로토타입 네트워크(APN)를 제안한다. 단지 클래스 수준의 속성만을 사용함으로써 APN은 CUB, AWA2, SUN 벤치마크에서 최신 기술 수준의 성능을 달성하면서도, 부위 애너테이션 없이도 정확한 속성 국소화를 가능하게 한다.

ABSTRACT

From the beginning of zero-shot learning research, visual attributes have been shown to play an important role. In order to better transfer attribute-based knowledge from known to unknown classes, we argue that an image representation with integrated attribute localization ability would be beneficial for zero-shot learning. To this end, we propose a novel zero-shot representation learning framework that jointly learns discriminative global and local features using only class-level attributes. While a visual-semantic embedding layer learns global features, local features are learned through an attribute prototype network that simultaneously regresses and decorrelates attributes from intermediate features. We show that our locality augmented image representations achieve a new state-of-the-art on three zero-shot learning benchmarks. As an additional benefit, our model points to the visual evidence of the attributes in an image, e.g. for the CUB dataset, confirming the improved attribute localization ability of our image representation.

연구 동기 및 목표

• 부위 애너테이션 없이도 속성 국소화를 가능하게 함으로써 제로샷 학습에서 이미지 표현의 국소성 향상.
• 노란색 머리카락과 노란색 배를 포함한 같은 속성들이 함께 나타나는 패턴에 의존하게 되는 모델을 오염시키는 상관관계 문제 해결 (예: 노란색 머리카락과 노란색 배).
• 인간이 애너테이션한 국소적 속성 관계 없이, 단지 클래스 수준의 속성과 그 의미적 유사성만을 지도로 사용하는 약한 지도 학습 표현 학습 프레임워크 개발.
• 학습된 주의 맵을 통해 속성에 대한 시각적 증거를 강조함으로써 모델의 해석 가능성 향상.
• 제로샷 및 일반화된 제로샷 학습 설정에서 기존 방법들에 비해 일관된 성능 향상 달성.

제안 방법

• 중간 층의 CNN 특징에서 시각적 속성을 회귀함으로써 국소적이고 구별 가능한 표현을 학습하는 속성 프로토타입 네트워크(APN) 제안.
• 속성 프로토타입 간의 통계적 의존성을 줄여 훈련 데이터 내 임의의 상관관계를 완화하는 분산 제거 손실 도입.
• 시각-의미 임베딩 레이어를 사용해 전역 이미지 특징을 학습하고, APN은 중간층의 지도를 통해 국소적 특징을 학습.
• 인간이 애너테이션한 국소적 속성 관계 없이, 단지 클래스 수준의 속성과 그 의미적 유사성만을 지도로 사용하여 모델을 종합적으로 훈련.
• 훈련 중에 속성 간 의미적 유사성을 활용하여, 함께 나타나지만 의미적으로 다른 속성을 구분할 수 있도록 모델을 안내.
• 학습된 속성 프로토타입에서 주의 맵을 생성하여, 속성 예측에 관련된 이미지 영역에 모델의 집중이 어디에 있는지 시각화하고 해석 가능하게 함.

실험 결과

연구 질문

• RQ1 약한 지도 학습 표현 학습 프레임워크가 클래스 수준의 속성만을 사용하여 제로샷 학습에서 속성 국소화를 향상시킬 수 있는가?
• RQ2 속성 프로토타입 간의 상관관계를 제거하면, 새로운 클래스의 새로운 속성 조합에 대한 일반화 성능에 어떤 영향을 미치는가?
• RQ3 부위 애너테이션 없이 훈련된 모델이 여전히 정확하고 해석 가능한 속성 국소화를 달성할 수 있는가?
• RQ4 제안된 방법이 제로샷 및 일반화된 제로샷 학습 벤치마크에서 기존 최신 기술 수준의 모델을 초월하는가?
• RQ5 이진 속성(continuous 대비)을 사용할 경우, 애너테이션 비용을 줄일 수 있으며, 모델이 효과적으로 일반화될 수 있는가?

주요 결과

• APN 모델은 제로샷 학습의 주요 세 벤치마크인 CUB, AWA2, SUN에서 제로샷 및 일반화된 제로샷 학습 설정 모두에서 최신 기술 수준의 성능 달성.
• CUB 데이터셋에서 APN 모델은 연속 속성 사용 시 52.8%의 부위 국소화 정확도를 기록하고, 이진 속성 사용 시 52.1%를 기록하여 속성 애너테이션 유형에 대해 뛰어난 내구성 확보.
• 최근의 약한 지도 학습 국소화 방법보다도 부위 검출 성능이 뛰어나, 개선된 국소성과 일반화 능력 확인.
• 연속 속성 사용 시 볼 수 있는 클래스에서의 속성 예측 정확도는 86.4%, 볼 수 없는 클래스에서의 정확도는 85.7%로 나타나, 새로운 속성 조합에 대한 강력한 일반화 능력 입증.
• 정성적 분석 결과, APN 모델의 주의 맵은 관련된 새끼의 부위(예: 가슴, 머리, 날개)를 정확하게 강조함으로써 개선된 해석 가능성과 속성 국소화 확인.
• 이진 속성에 대해서도 모델이 잘 일반화됨을 확인하여, 볼 수 있는 클래스에서의 속성 예측 정확도가 86.8%를 기록함. 이는 연속 속성 사용 시 86.4% 성능과 유사하여 높은 수준의 성능 유지를 확인.