[논문 리뷰] Learning the Redundancy-free Features for Generalized Zero-Shot Object Recognition

Zongyan Han, Zhenyong Fu외 1명|arXiv (Cornell University)|2020. 06. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 13

한 줄 요약

이 논문은 일반화된 제로샷 객체 인식(GZSL)을 위한 부가 정보가 없는 특징 학습 방법을 제안한다. 이는 시각적 특징을 통계적 종속성이 감소한 새로운 공간으로 투영하여 관련 없는 정보를 제거하면서도 분류 범주 간의 구분 능력을 유지한다. 이 방법은 의미적 임bedding 및 특징 생성 프레임워크와 통합하여 네 가지 벤치마크 데이터셋에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성한다.

ABSTRACT

Zero-shot object recognition or zero-shot learning aims to transfer the object recognition ability among the semantically related categories, such as fine-grained animal or bird species. However, the images of different fine-grained objects tend to merely exhibit subtle differences in appearance, which will severely deteriorate zero-shot object recognition. To reduce the superfluous information in the fine-grained objects, in this paper, we propose to learn the redundancy-free features for generalized zero-shot learning. We achieve our motivation by projecting the original visual features into a new (redundancy-free) feature space and then restricting the statistical dependence between these two feature spaces. Furthermore, we require the projected features to keep and even strengthen the category relationship in the redundancy-free feature space. In this way, we can remove the redundant information from the visual features without losing the discriminative information. We extensively evaluate the performance on four benchmark datasets. The results show that our redundancy-free feature based generalized zero-shot learning (RFF-GZSL) approach can achieve competitive results compared with the state-of-the-arts.

연구 동기 및 목표

• 세분화된 객체 인식의 과제를 해결하기 위해, 미세한 시각적 차이와 공통 배경으로 인해 성능이 저하되는 일반화된 제로샷 학습(GZSL) 환경에서의 도전에 대응한다.
• 분류 수준의 신호를 손실하지 않으면서도 시각적 특징 내의 부가 정보를 줄이기 위해 노력한다.
• 기존의 GZSL 방법, 즉 의미적 임bedding 및 특징 생성 접근 방식과 통합 가능한 융통성 있는 프레임워크를 개발한다.
• 범주 간 관계를 강화함으로써 일반화 능력을 향상시키기 위해 부가 정보가 없는 특징 공간을 학습한다.

제안 방법

• 원본 시각적 특징을 부가 정보가 없는 특징 공간으로 투영하는 매핑 함수를 학습하며, 원본 특징과 투영된 특징 간의 통계적 종속성을 최소화한다.
• 서로 다른 통계적 종속성 측정 방법(예: 상호정보량 등)을 사용하여 부가 정보 제거 목표를 구현한다.
• 투영된 특징은 새로운 공간에서 범주 간의 분류 가능성을 유지하거나 향상시키도록 최적화된다.
• 이 방법은 GZSL의 의미적 임bedding 및 특징 생성 프레임워크 양쪽 모두와 호환된다.
• 부가 정보가 없는 공간에서 복합 특징 생성기를 활용하여 미사용 범주에 대한 특징을 합성한다.
• 부가 정보 제거와 정확도 간의 균형을 맞추기 위해 종속성 감소 손실과 분류 손실을 조합하여 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 시각적 특징에서 부가 정보를 제거하면 일반화된 제로샷 학습에서 성능 향상이 이루어지는가?
• RQ2 부가 정보가 없는 특징 학습은 세분화된 데이터셋에서 GZSL 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 의미적 임bedding 및 특징 생성 프레임워크 양쪽 모두에 효과적으로 통합될 수 있는가?
• RQ4 학습된 부가 정보가 없는 특징 공간은 원본 시각적 특징에 비해 미사용 클래스 특징의 분리도를 향상시키는가?
• RQ5 부가 정보가 없는 특징은 이미지 검색 및 특징 분포 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 부가 정보가 없는 특징 학습 방법은 GZSL 환경에서 기존 의미적 임bedding 모델의 성능을 크게 향상시켰으며, AWA 및 FLO에서 SJE 대비 최대 15% 향상된 성능을 기록했다.
• 특징 생성과 통합했을 때, 네 가지 벤치마크 데이터셋 중 두 곳에서 최신 기술 수준의 결과를 달성했고, 나머지 두 곳에선 경쟁 가능한 성능을 확보했다.
• t-SNE를 활용한 시각화 결과, 부가 정보가 없는 특징 공간에서는 블루와플, 코끼리, 바다사자, 돌고래 등의 미사용 클래스에 대해 원본 시각적 공간에 비해 더 잘 분리된 클러스터를 관찰할 수 있었다.
• 이미지 검색 결과는 부가 정보가 없는 공간에서 생성된 특징가 CUB 데이터셋에서 f-CLSWGAN에 비해 더 정확한 상위 5개 검색 결과를 제공함을 보여주었다.
• 부가 정보가 없는 특징 공간의 다양한 차원에서도 뛰어난 성능 유지를 보였으며, 최적의 성능은 1,024차원에서 달성되었다.
• 원본 특징과 투영된 특징 간의 통계적 종속성 감소는 공통 배경과 같은 불필요한 콘텐츠를 효과적으로 제거하면서도 세분화된 분류를 위한 구분 가능한 신호를 유지한다.