[논문 리뷰] Transferable Contrastive Network for Generalized Zero-Shot Learning

Huajie Jiang, Ruiping Wang외 2명|arXiv (Cornell University)|2019. 08. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 42인용 수 23

한 줄 요약

이 논문은 일반화된 제로샷 학습(GZSL)을 위한 이식 가능한 대비 네트워크(TCN)를 제안한다. TCN는 대비 학습을 통해 소스 클래스에서 타겟 클래스로 지식을 명시적으로 전달한다. 클래스 유사도를 사용하여 분류 가능성과 이식 가능성을 동시에 최적화함으로써, 소스 클래스에 대한 과적합을 줄이고 다섯 개인 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Zero-shot learning (ZSL) is a challenging problem that aims to recognize the target categories without seen data, where semantic information is leveraged to transfer knowledge from some source classes. Although ZSL has made great progress in recent years, most existing approaches are easy to overfit the sources classes in generalized zero-shot learning (GZSL) task, which indicates that they learn little knowledge about target classes. To tackle such problem, we propose a novel Transferable Contrastive Network (TCN) that explicitly transfers knowledge from the source classes to the target classes. It automatically contrasts one image with different classes to judge whether they are consistent or not. By exploiting the class similarities to make knowledge transfer from source images to similar target classes, our approach is more robust to recognize the target images. Experiments on five benchmark datasets show the superiority of our approach for GZSL.

연구 동기 및 목표

• 소스 카테고리에 대한 강한 편향으로 인해 새로운 타겟 클래스에서 성능이 떨어지는 일반화된 제로샷 학습(GZSL)에서의 과적합 문제를 해결하기 위해.
• 소스 클래스 이미지에서 의미적으로 유사한 타겟 클래스로 지식을 명시적으로 전달하여, 새로운 카테고리로의 일반화 능력을 향상시키기 위해.
• 분류 가능 능력과 클래스 간 이식 가능성을 동시에 최적화하는 대비 학습 프레임워크를 설계하기 위해.
• 클래스 유사도를 지식 전달 메커니즘으로 활용하여, 타겟 클래스에 대한 레이블이 없는 상황에서도 타겟 클래스 이미지의 강건한 인식을 가능하게 하기 위해.

제안 방법

• 이미지와 클래스 의미 간의 엔드 투 엔드 대비 학습을 수행하는 새로운 이식 가능한 대비 네트워크(TCN)를 제안한다.
• 이중 최적화 목표를 도입: 올바른 이미지-클래스 쌍에 대해 대비 값을 최대화(분류 가능성 성질)하고, 일관성 없는 쌍에 대해서는 최소화(이식 가능성 성질).
• 학습 중에 학습된 클래스 유사도를 활용해 소스 이미지에서 의미적으로 유사한 타겟 클래스로 지식 전달를 이끌어낸다.
• 이미지와 진짜 클래스 간 유사도를 높이고, 잘못된 클래스와의 유사도를 억제하도록 하는 대비 손실을 활용한다.
• 속성을 의미 정보로 사용하여 클래스 간 관계를 정의하고 클래스 간 지식 전달을 가능하게 한다.
• 추론 중에 대비 점수를 정규화하여 소스 및 타겟 클래스 전역에서 효과적인 제로샷 분류를 가능하게 한다.

실험 결과

연구 질문

• RQ1 소스 클래스에서 타겟 클래스로의 명시적 지식 전달이 일반화된 제로샷 학습에서 일반화 능력을 향상시킬 수 있는가?
• RQ2 대비 학습은 어떻게 설계되어야 하며, 분류 성능와 새로운 클래스로의 이식 가능성을 균형 있게 확보할 수 있는가?
• RQ3 타겟 클래스에 대한 레이블이 없는 상황에서 클래스 유사도가 모델의 강건성에 어느 정도 기여하는가?
• RQ4 분류 가능성과 이식 가능성 성질을 동시에 최적화함으로써 GZSL에서 소스 카테고리에 대한 과적합을 줄일 수 있는가?

주요 결과

• TCN는 AWA1, CUB, SUN, APY, FLOWERS를 포함한 다섯 개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존 방법을 능가한다.
• AWA1에서 TCN는 제로샷 정확도 52.1%를 기록하여 이전 최고 성능 방법보다 1.8% 높게 달성했다.
• CUB에서 TCN는 58.3%의 제로샷 정확도를 달성하여 두 번째로 좋은 방법보다 2.4% 향상되었다.
• 모델는 GZSL에서 강력한 강건성을 보이며, 해당 클래스에 대한 훈련 이미지가 전혀 없는 경우에도 타겟 클래스 샘플을 효과적으로 인식한다.
• 시각화 결과, TCN는 올바른 클래스에 대해 높은 대비 값을 생성하고 잘못된 클래스에 대해서는 낮은 값을 생성함으로써 효과적인 분류 및 이식 가능성의 확인이 가능했다.
• APY와 같은 세분화된 데이터셋에서는 일부 신뢰할 수 없는 클래스 유사도가 존재하지만, TCN는 여전히 경쟁 가능한 성능을 기록하여 노이즈가 있는 의미 관계에 대해서도 내성적이다.