[논문 리뷰] FREE: Feature Refinement for Generalized Zero-Shot Learning

Shiming Chen, Wenjie Wang외 5명|arXiv (Cornell University)|2021. 07. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 66인용 수 12

한 줄 요약

이 논문은 이미지넷과 GZSL 벤치마크 간의 교차 데이터셋 편향을 해결하기 위해 시각적 특징 품질을 향상시키는 특징 정련(FR) 모듈을 도입한 새로운 프레임워크 FREE를 제안한다. 자가 적응형 마진 중심 손실과 의미 주기 일관성 손실을 사용하여 FR를 의미에서 시각으로의 생성 모델과 함께 공동 최적화함으로써, FREE는 다섯 가지 벤치마크에서 최신 기술 수준의 성능을 달성하며, 볼 수 있는 클래스와 볼 수 없는 클래스의 정확도를 모두 향상시키고 도메인 이동 효과를 줄였다.

ABSTRACT

Generalized zero-shot learning (GZSL) has achieved significant progress, with many efforts dedicated to overcoming the problems of visual-semantic domain gap and seen-unseen bias. However, most existing methods directly use feature extraction models trained on ImageNet alone, ignoring the cross-dataset bias between ImageNet and GZSL benchmarks. Such a bias inevitably results in poor-quality visual features for GZSL tasks, which potentially limits the recognition performance on both seen and unseen classes. In this paper, we propose a simple yet effective GZSL method, termed feature refinement for generalized zero-shot learning (FREE), to tackle the above problem. FREE employs a feature refinement (FR) module that incorporates extit{semantic$ ightarrow$visual} mapping into a unified generative model to refine the visual features of seen and unseen class samples. Furthermore, we propose a self-adaptive margin center loss (SAMC-loss) that cooperates with a semantic cycle-consistency loss to guide FR to learn class- and semantically-relevant representations, and concatenate the features in FR to extract the fully refined features. Extensive experiments on five benchmark datasets demonstrate the significant performance gain of FREE over its baseline and current state-of-the-art methods. Our codes are available at https://github.com/shiming-chen/FREE .

연구 동기 및 목표

• 이미지넷과 GZSL 벤치마크 간의 교차 데이터셋 편향으로 인해 지속적으로 발생하는 일반화 제로샷 학습(GZSL) 성능 격차를 해결하기 위해.
• 이미지넷 사전 훈련된 특징를 직접 GZSL 데이터셋에 적용할 경우 저품질의 시각적 특징과 열악한 성능을 초래하므로 이를 해결하기 위해.
• 피팅 조정 없이도 볼 수 있는 클래스와 볼 수 없는 클래스의 시각적 특징을 향상시키는 특징 정련(FR) 모듈을 제안하기 위해.
• 자기 적응형 마진 중심 손실(SAMC-loss)과 의미 주기 일관성 손실을 개발하여 FR가 클래스 및 의미적으로 관련된, 분류에 유용한 표현을 학습하도록 이끌기 위해.
• FR가 굵은 틀과 미세한 틀의 GZSL 벤치마크 모두에서 도메인 이동을 효과적으로 줄이고 일반화 성능을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• FREE는 통합된 생성 모델 내에서 볼 수 있는 클래스와 볼 수 없는 클래스의 시각적 특징을 정련하는 특징 정련(FR) 모듈을 도입하여 의미에서 시각으로의 매핑을 향상시킨다.
• FR 모듈은 기본 생성 모델(f-VAEGAN 등)과 함께 최적화되어 피팅 조정과 관련된 과적합 및 성능 저하 문제를 방지한다.
• 내부 클래스의 응집성과 외부 클래스의 분리성을 강제하기 위해 자가 적응형 마진 중심 손실(SAMC-loss)을 제안하며, 이는 다양한 데이터셋에 동적으로 적응한다.
• 특징 재구성 후 의미 주기 일관성 손실을 적용하여 정련된 특징가 의미 관계를 유지하고 원래 의미와의 정렬을 향상시킨다.
• 최종 특징는 FR 모듈의 다중 레이어에서 얻은 정련된 특징를 연결하여 얻으며, 이는 분류를 위한 완전히 정련된 다층 표현을 가능하게 한다.
• 프레임워크는 엔드 투 엔드로 훈련되어 FR 모듈이 추가적인 감독 없이도 분류에 특화되고 의미적으로 기반한 시각적 특징를 학습할 수 있다.

실험 결과

연구 질문

• RQ1 이미지넷과 GZSL 벤치마크 간의 교차 데이터셋 편향이 제로샷 학습에서 시각적 특징 품질과 인식 성능에 어떤 영향을 미치는가?
• RQ2 피팅 조정 없이도 특징 정련 모듈이 도메인 이동을 줄이고 일반화 성능을 향상시키기 위해 시각적 특징를 향상시킬 수 있는가?
• RQ3 자기 적응형 마진 중심 손실과 의미 주기 일관성 손실이 GZSL에서 정련된 특징의 분류 능력을 어느 정도 향상시킬 수 있는가?
• RQ4 제안된 FR 모듈이 굵은 틀과 미세한 틀의 GZSL 벤치마크 모두에서 일관된 성능 향상을 가져오는가?
• RQ5 피팅 조정 및 최신 기술 수준의 GZSL 방법과 비교할 때, 제안된 방법이 볼 수 있는 클래스, 볼 수 없는 클래스, 그리고 조화 평균 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• FREE는 FLO에서 75.0%의 조화 평균 정확도, AWA2에서는 67.1%를 기록하여 베이스라인 f-VAEGAN(64.6% 및 63.5%)을 능가하고, 오히려 피팅 조정된 f-VAEGAN(75.1% 및 65.2%)을 초월했다.
• 미세한 틀의 CUB 데이터셋에서는 FREE가 75.0%의 조화 평균 정확도를 기록하여 베이스라인 f-VAEGAN(64.6%)보다 뚜렷이 향상되었으며, 높은 교차 데이터셋 편향에 대해서도 강력한 내구성을 보였다.
• 특징 정련 모듈은 클래스 간 모호함을 줄였으며, 시각화 결과에서 특징 클러스터링 향상을 보여주었고, 합성된 볼 수 없는 특징가 실제 볼 수 없는 특징와 유사한 클래스 관계를 잘 반영했다.
• 각 클래스당 합성 시각적 특징 수에 대해 강건한 성능을 보였으며, 최적 성능는 N_syn = 4600(FLO, AWA1), 2400(FLO), 700(CUB), 300(SUN)에서 달성되어 다양한 데이터셋에서 효과적인 일반화를 보였다.
• 손실 함수의 균형 인자 γ는 내부 클래스 응집성을 높이는 것이 미세한 틀 데이터셋(예: CUB)에 유리하고, 외부 클래스 분리성을 높이는 것이 굵은 틀 데이터셋(예: AWA2)에 유리함을 보여주며, SAMC-loss의 적응 가능성은 검증되었다.
• 제거 실험 결과, SAMC-loss와 주기 일관성 손실 모두 성능 향상에 필수적임을 확인하였으며, 둘 중 하나를 제거하면 정확도가 크게 떨어졌다.