[논문 리뷰] Isometric Propagation Network for Generalized Zero-shot Learning

Lu Liu, Tianyi Zhou외 4명|arXiv (Cornell University)|2021. 02. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 56인용 수 11

한 줄 요약

이 논문은 일반화된 제로샷 러닝을 위한 새로운 프레임워크인 등장도 전파 네트워크(Isometric Propagation Network, IPN)를 제안한다. 이는 시각적 공간과 의미적 공간 간의 클래스 표현 정렬을 동적이고 등장도 기반의 그래프 기반 전파를 통해 향상시킨다. 두 공간에서 주목사용 기반의 클래스 그래프를 학습하고 전파 단계를 거쳐 간선 가중치의 등장도 일致성을 강제함으로써, IPN은 AWA2, CUB, 그리고 다양한 새로운 볼 수 없는 클래스를 포함한 대규모 데이터셋을 포함한 여러 벤치마크에서 최고 성능(SOTA)을 달성한다.

ABSTRACT

Zero-shot learning (ZSL) aims to classify images of an unseen class only based on a few attributes describing that class but no access to any training sample. A popular strategy is to learn a mapping between the semantic space of class attributes and the visual space of images based on the seen classes and their data. Thus, an unseen class image can be ideally mapped to its corresponding class attributes. The key challenge is how to align the representations in the two spaces. For most ZSL settings, the attributes for each seen/unseen class are only represented by a vector while the seen-class data provide much more information. Thus, the imbalanced supervision from the semantic and the visual space can make the learned mapping easily overfitting to the seen classes. To resolve this problem, we propose Isometric Propagation Network (IPN), which learns to strengthen the relation between classes within each space and align the class dependency in the two spaces. Specifically, IPN learns to propagate the class representations on an auto-generated graph within each space. In contrast to only aligning the resulted static representation, we regularize the two dynamic propagation procedures to be isometric in terms of the two graphs' edge weights per step by minimizing a consistency loss between them. IPN achieves state-of-the-art performance on three popular ZSL benchmarks. To evaluate the generalization capability of IPN, we further build two larger benchmarks with more diverse unseen classes and demonstrate the advantages of IPN on them.

연구 동기 및 목표

• 시각적 공간과 의미적 공간 간의 비균형적인 감독으로 인한 과적합 문제를 해결하기 위해.
• 시각적 공간과 의미적 공간 내외의 동적이고 상호관계 기반의 구조를 학습하여 볼 수 없는 클래스로의 일반화를 향상시키기 위해.
• 전파 과정의 등장도 정규화를 통해 시각적 공간과 의미적 공간 간의 표현 정렬을 향상시키기 위해.
• 기존의 ZSL 데이터셋을 넘어서 더 크고 다양한 벤치마크에서의 일반화 성능 평가를 위해.

제안 방법

• IPN은 클래스 간 관계를 모델링하기 위해 학습 가능한 주목사용 모듈을 사용하여 시각적 공간과 의미적 공간에서 카테고리 그래프를 구축한다.
• 이러한 그래프에서 반복적인 메시지 전달(전파)을 수행하여 동적으로 클래스 프로토타입을 개선한다.
• 각 전파 단계에서 두 그래프의 주목사용 가중치 간선 분포 간의 등장도 일치를 강제하기 위해 일致성 손실을 도입한다.
• 다양한 그래프 무늬를 생성하고 강건성을 향상시키기 위해 본문 학습 시 본문에 포함된 본문 클래스의 무작위 부분집합을 사용한다.
• 시각적 프로토타입과 의미적 프로토타입을 병렬로 학습하고 공동 최적화하여 일반화 성능과 표현 품질을 향상시킨다.
• 교차 엔트로피 손실과 일치 정규화를 함께 사용하여 본문 클래스와 볼 수 없는 클래스의 성능 균형을 맞추며, 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 내부 공간의 클래스 종속성을 모델링하는 동적이고 그래프 기반의 전파가 제로샷 일반화를 향상시킬 수 있는가?
• RQ2 시각적 공간과 의미적 공간 간의 전파 단계에서 등장도 일치를 강제하면 더 나은 정렬과 일반화가 이루어지는가?
• RQ3 더 큰 규모이고 다양한 볼 수 없는 클래스를 포함하는 대규모, 다양한 벤치마크에서 IPN의 성능은 어떠한가?
• RQ4 이중 프로토타입과 에피소드 기반 훈련이 모델의 강건성과 성능에 기여하는 정도는 어떠한가?

주요 결과

• IPN은 AWA2, CUB, aPY와 같은 세 가지 표준 ZSL 벤치마크에서 최고 성능을 기록하며, 최고의 조화 평균 정확도를 달성한다.
• 새로 구축된 티어드 ImageNet-Mixed 및 티어드 ImageNet-Segregated 벤치마크에서 IPN은 여전히 최고 성능을 유지하며, 다양한 볼 수 없는 클래스로의 강력한 일반화 능력을 입증한다.
• 절단 분석 결과, 단일 공간 전파 대비 이중 전파가 볼 수 없는 클래스 정확도를 2–3% 향상시키며, 동시에 강력한 본문 클래스 성능을 유지함을 확인했다.
• 등장도 일치를 강제하는 일치 손실은 공유 주목사용 모듈나 무정렬 대비 유의미하게 뛰어나며, 본문 클래스에서의 과적합을 감소시킨다.
• 오직 시각적 프로토타입만을 사용할 경우 30 에포크 만에 수렴하는 반면, 오직 의미적 프로토타입만을 사용할 경우 200 에포크가 소요되며, 사전 학습된 CNN이 안정적인 시각적 인덕티브 바이어스를 제공함을 시사한다.
• 하이퍼파ram터 분석 결과, 전파 단계 수 τ=2에서 최적의 성능을 기록하며, 가중치 감쇠는 매우 민감한 편이었으며, 이는 이전 ZSL 연구와 일치한다.