[논문 리뷰] MSDN: Mutually Semantic Distillation Network for Zero-Shot Learning

Shiming Chen, Ziming Hong외 6명|arXiv (Cornell University)|2022. 03. 07.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 상호적 의미 정열 네트워크(MSDN)를 제안하며, 이는 양방향 주의 메커니즘을 통해 속성 기반 시각적 특징과 시각 기반 속성 특징을 공동으로 학습함으로써 지식 전이를 향상시키는 제로샷 러닝을 위한 것이다. 두 상호 주의 하위 네트워크 간의 협업 학습을 가능하게 하는 의미 정열 손실을 도입함으로써, MSDN은 세 가지 벤치마크에서 최신 기술 성능(SOTA)을 달성하였으며, CUB와 SUN에서 각각 정확도와 조화 평균에서 18.7%와 11.0% 향상되었다.

ABSTRACT

The key challenge of zero-shot learning (ZSL) is how to infer the latent semantic knowledge between visual and attribute features on seen classes, and thus achieving a desirable knowledge transfer to unseen classes. Prior works either simply align the global features of an image with its associated class semantic vector or utilize unidirectional attention to learn the limited latent semantic representations, which could not effectively discover the intrinsic semantic knowledge e.g., attribute semantics) between visual and attribute features. To solve the above dilemma, we propose a Mutually Semantic Distillation Network (MSDN), which progressively distills the intrinsic semantic representations between visual and attribute features for ZSL. MSDN incorporates an attribute$ ightarrow$visual attention sub-net that learns attribute-based visual features, and a visual$ ightarrow$attribute attention sub-net that learns visual-based attribute features. By further introducing a semantic distillation loss, the two mutual attention sub-nets are capable of learning collaboratively and teaching each other throughout the training process. The proposed MSDN yields significant improvements over the strong baselines, leading to new state-of-the-art performances on three popular challenging benchmarks, i.e., CUB, SUN, and AWA2. Our codes have been available at: \url{https://github.com/shiming-chen/MSDN}.

연구 동기 및 목표

• 제로샷 러닝에서 볼 수 있는 클래스 간의 시각적 특징과 속성 특징 간 잠재적 의미 지식을 추론하여, 이를 볼 수 없는 클래스로 효과적으로 전이하는 데에 도전한다.
• 이전 방법에서의 단방향 주의와 전역적 특징 정렬의 한계를 극복하여 세밀한, 내재된 의미 표현을 포착하지 못하는 문제를 해결한다.
• 교사-학생 스타일의 상호 정열 메커니즘을 통해 시각적 특징과 속성 특징 간의 협업 학습을 가능하게 한다.
• 속성 → 시각 및 시각 → 속성 양 방향에서 보완적인 의미 표현을 공동으로 학습함으로써 제로샷 인식 성능을 향상시킨다.

제안 방법

• MSDN은 두 상호 주의 하위 네트워크를 사용한다: 속성 → 시각 주의 하위 네트워크는 속성에 의해 유도된 시각적 특징을 학습하고, 시각 → 속성 주의 하위 네트워크는 시각에 의해 유도된 속성 특징을 학습한다.
• 두 하위 네트워크는 클래스 후행 확률 분포를 정렬함으로써 상호 지식 정열을 가능하게 하는 의미 정열 손실을 함께 훈련한다.
• 자기 校정 손실이 주어져 주의 맵을 개선하고 노이즈를 감소시킴으로써 특징 품질을 향상시킨다.
• 최종 특징 표현은 두 하위 네트워크의 임bedding을 조합하여 보완적인 의미 정렬을 활용한다.
• 모델은 시각적 특징 추출을 위해 CNN 백본(예: ResNet101)을 사용하고, 의미 벡터 표현을 위해 사전 학습된 언어 모델(예: GloVe)을 사용한다.
• 조합 계수(α₁, α₂) 및 손실 가중치(λ_cal, λ_dstill)와 같은 하이퍼파ram터는 기여도를 균형 있게 조절하고 과적합을 방지하기 위해 튜닝된다.

실험 결과

연구 질문

• RQ1 양방향 주의 메커니즘이 제로샷 러닝에서 시각적 특징과 속성 특징 간의 내재된 의미 표현을 발견하는 데에 기여하는가?
• RQ2 두 주의 하위 네트워크 간의 상호 정열이 특징 표현 품질 향상과 지식 전이에 어떻게 기여하는가?
• RQ3 성능을 최대화하기 위해 속성 → 시각 및 시각 → 속성 주의 하위 네트워크 간의 최적의 균형은 무엇인가?
• RQ4 의미 정열 손실이 협업 학습과 제로샷 인식의 일반화 향상에 어떻게 기여하는가?

주요 결과

• MSDN은 CUB 벤치마크에서 새로운 최고 성능을 달성하였으며, 베이스라인 대비 정확도와 조화 평균에서 각각 18.7%와 19.0% 향상되었다.
• SUN 데이터셋에서 MSDN은 베이스라인 대비 정확도 11.0% 향상 및 조화 평균 10.8% 향상되었다.
• 제거 분석 결과, 두 상호 주의 하위 네트워크가 상호 보완적임을 확인하였다: 한 하위 네트워크는 '배 아래 흰색'과 같은 속성을 포착하고, 다른 하나는 '닭 모양의 습지'와 같은 다른 속성을 포착한다.
• t-SNE 시각화 결과, MSDN은 기준선 대비 볼 수 있는 클래스와 볼 수 없는 클래스 모두에서 더 구분력 있고 전이 가능한 특징을 학습함을 보였다.
• 최적의 조합 계수는 CUB에서 α₁=0.9, α₂=0.1, SUN에서 α₁=0.7, α₂=0.3로, 더 나은 성능을 위해 속성 → 시각 주의에 더 강한 중시가 이루어짐을 시사한다.
• 의미 정열 손실은 성능 향상에 크게 기여하며, 최적의 손실 가중치는 CUB/AWA2에서 λ_cal=0.1, λ_dstill=0.001이며, SUN에서는 λ_cal=0.0, λ_dstill=0.01이다.