[논문 리뷰] Semi-supervised Zero-Shot Learning by a Clustering-based Approach

Seyed Mohsen Shojaee, Mahdieh Soleymani Baghshah|arXiv (Cornell University)|2016. 05. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 34

한 줄 요약

이 논문은 깊이 강화된 시각적 특징과 클러스터링을 활용하여 일반화를 향상시키는 준지도 학습 제로샷 학습 방법을 제안한다. 이는 클래스 서명을 시각적 특징 공간으로 매핑하는 선형 변환을 공동으로 학습하고, 라벨이 없는 미사용 클래스 샘플을 클러스터에 할당함으로써 이루어진다. 이 방법은 깊이 강화된 특징의 천연 클러스터링 구조를 활용하고, 라벨이 없는 데이터를 통해 도메인 이탈을 완화함으로써 네 가지 벤치마크 데이터셋 중 세 곳에서 최신 기술을 초월한다.

ABSTRACT

In some of object recognition problems, labeled data may not be available for all categories. Zero-shot learning utilizes auxiliary information (also called signatures) describing each category in order to find a classifier that can recognize samples from categories with no labeled instance. In this paper, we propose a novel semi-supervised zero-shot learning method that works on an embedding space corresponding to abstract deep visual features. We seek a linear transformation on signatures to map them onto the visual features, such that the mapped signatures of the seen classes are close to labeled samples of the corresponding classes and unlabeled data are also close to the mapped signatures of one of the unseen classes. We use the idea that the rich deep visual features provide a representation space in which samples of each class are usually condensed in a cluster. The effectiveness of the proposed method is demonstrated through extensive experiments on four public benchmarks improving the state-of-the-art prediction accuracy on three of them.

연구 동기 및 목표

• 모든 카테고리에 대해 라벨이 제공되지 않는 상황, 특히 세밀한 분류 상황에서 제로샷 인식 문제를 해결하기 위해.
• 기존 방법에서 무시되는 라벨이 없는 새로운 클래스의 샘플을 활용하여 제로샷 인식 성능을 향상시키기 위해.
• 깊이 강화된 시각적 특징의 본질적 클러스터링 구조를 활용하기 위해, 같은 클래스의 샘플이 자연스럽게 조밀한 클러스터를 이룬다는 점을 이용하기 위해.
• 라벨이 있는 본래의 클래스 데이터와 라벨이 없는 새로운 클래스 데이터를 함께 사용하여 클래스 서명 매핑과 샘플 할당을 공동으로 학습함으로써 본래 클래스와 새로운 클래스 간의 도메인 이탈을 줄이기 위해.
• 클러스터 기반의 할당이 매핑된 클래스 서명의 표현 능력을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 이 방법은 클래스 서명을 깊이 강화된 시각적 특징 공간으로 매핑하는 선형 변환 D를 학습하며, 매핑된 서명이 본래의 본래 클래스 샘플에 가까워지도록 한다.
• 이 방법은 손실 함수를 최소화함으로써 변환 D와 라벨이 없는 샘플의 새로운 클래스에 대한 할당을 공동 최적화한다. 이 손실 함수는 매핑된 서명이 할당된 클러스터를 잘 대표하도록 유도한다.
• 이 접근법은 같은 클래스에서 온 시각적 특징이 자연스럽게 클러스터를 이룬다는 가정을 하며, 이 구조를 라벨이 없는 데이터의 레이블 할당을 유도하는 데 사용한다.
• 더 단순한 베이스라인 방법은 먼저 본래 클래스 데이터만을 사용하여 D를 학습한 후, 클러스터링(예: k-means)을 적용하여 라벨이 없는 샘플을 새로운 클래스에 할당한다.
• 최적화는 하이퍼파라미터 γ와 β를 포함한 정규화된 목표 함수를 사용하며, 이는 훈련 데이터에서 10겹 교차 검증을 통해 조정된다.
• 이 방법은 사전 훈련된 VGG-19 네트워크의 첫 번째 완전 연결층에서 얻은 4096차원 특징을 시각 임베딩 공간으로 사용한다.

실험 결과

연구 질문

• RQ1 클래스 서명 매핑과 라벨이 없는 새로운 클래스 샘플의 할당을 공동으로 학습하면 제로샷 인식 성능이 향상되는가?
• RQ2 깊이 강화된 시각적 특징의 천연 클러스터링 구조가 매핑된 클래스 서명의 표현 능력을 향상시키는가?
• RQ3 라벨이 없는 새로운 클래스의 데이터가 제로샷 학습에서 도메인 이탈을 완화하는 데 기여하는가?
• RQ4 기본 표준 제로샷 벤치마크에서 최신 기술 대비 제안된 방법은 어떻게 비교되는가?
• RQ5 라벨이 없는 데이터의 구조를 활용한 변환 행렬 초기화가 성능 향상에 상당한 기여를 하는가?

주요 결과

• 제안된 방법은 공개된 네 가지 벤치마크 중 세 곳(CUB, AWA1, SUN)에서 최신 기술을 초월하여 더 높은 제로샷 인식 정확도를 달성한다.
• CUB 데이터셋에서, 공동 최적화를 사용한 방법(Ours(init - R))는 평균 정확도 68.7%를 기록하여 이전 방법보다 뚜렷이 뛰어나다.
• 더 단순한 베이스라인(Ours (Simple))도 강력한 성능을 기록하며, 공동 최적화 없이도 클러스터링 기반의 할당이 효과적임을 보여준다.
• 라벨이 없는 데이터의 구조를 반영한 초기화 방법(Ours(init - R))는 라벨이 있는 본래 클래스 데이터만을 사용한 초기화(Ours(init D))보다 유의미하게 높은 성능을 보이며, 라벨이 없는 데이터의 가치를 입증한다.
• aPascal-aYahoo 데이터셋에서는 속성 평균화로 인해 클래스 서명이 유사하여 제안된 방법이 다른 방법보다 뛰어나지 못함을 확인하였으며, 이는 서명의 분류 능력이 떨어질 경우의 한계를 시사한다.
• 실험 결과는 같은 클래스에서 온 시각적 특징이 자연스럽게 클러스터를 이룬다는 것을 확인하였으며, 이는 본 방법의 설계 핵심 가정을 검증한다.