[논문 리뷰] Semi-supervised Vocabulary-informed Learning

Yanwei Fu, Leonid Sigal|arXiv (Cornell University)|2016. 04. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 31

한 줄 요약

이 논문은 최대 마진 임베딩 공간에 대규모 의미 어휘를 통합함으로써 지도학습, 제로샷, 오픈세트 이미지 인식을 향상시키는 통합 프레임워크인 반감독형 어휘 인식 학습(SS-Voc)을 제안한다. 시각적 특징과 레이블이 지정된 프로토타입, 외부 어휘 원소 간의 거리 제약을 강제함으로써 모델은 ImageNet과 AwA에서 최신 기술을 초월하는 성능을 달성하며, 레이블이 3,000개뿐인 조건에서 최고의 경쟁자(ConSE) 대비 상위 1위 정확도를 3.43%p 향상시킨다.

ABSTRACT

Despite significant progress in object categorization, in recent years, a number of important challenges remain, mainly, ability to learn from limited labeled data and ability to recognize object classes within large, potentially open, set of labels. Zero-shot learning is one way of addressing these challenges, but it has only been shown to work with limited sized class vocabularies and typically requires separation between supervised and unsupervised classes, allowing former to inform the latter but not vice versa. We propose the notion of semi-supervised vocabulary-informed learning to alleviate the above mentioned challenges and address problems of supervised, zero-shot and open set recognition using a unified framework. Specifically, we propose a maximum margin framework for semantic manifold-based recognition that incorporates distance constraints from (both supervised and unsupervised) vocabulary atoms, ensuring that labeled samples are projected closest to their correct prototypes, in the embedding space, than to others. We show that resulting model shows improvements in supervised, zero-shot, and large open set recognition, with up to 310K class vocabulary on AwA and ImageNet datasets.

연구 동기 및 목표

• 제한된 레이블 데이터로 대규모 오픈 어휘 설정에서의 제로샷 학습(ZSL)의 한계를 해결한다.
• 목표 클래스와 소스 클래스가 상호 배타적이라는 제약 조건을 초월한다.
• 대규모 어휘에서 유래한 외부 의미 지식을 활용해 미리보지 않은 클래스의 효과적인 인식을 가능하게 한다.
• 지난 학습, 제로샷, 오픈세트 인식을 하나의 학습 프레임워크로 통합한다.
• 레이블이 지정된 데이터와 오픈어휘 원소에서 유도된 최대 마진 제약을 활용해 시각-의미 임베딩 공간의 일반화 능력과 클래스 간 분리도를 향상시킨다.

제안 방법

• 시각적 특징와 의미 프로토타입 간 기하학적 분리를 강제하기 위해 인식 작업을 최대 마진 프레임워크 내에서 수립한다.
• 거리 제약을 사용해 지도학습(레이블이 지정된) 및 비지도학습(미리보지 않은) 클래스 프로토타입을 임베딩 공간에 통합한다.
• word2vec을 사용해 어휘 원소 간의 의미 관계를 학습함으로써, 볼 수 있는 클래스에서 볼 수 없는 클래스로 지식을 전이한다.
• 이미지 특징를 공통 임베딩 공간으로 매핑하는 시각-의미 임베딩 함수 $ g(\mathbf{x}) $ 를 훈련한다. 이 공간에서 프로토타입 간 거리가 최대가 되도록 한다.
• 훈련 중에 오픈어휘 기반 제약 조건을 통합함으로써, 목표 클래스의 레이블 예제가 전혀 없을 때에도 일반화 능력을 향상시킨다.
• t-SNE 시각화와 분석 실험을 통해 전체 모델(SS-Voc:full)과 닫힌어휘 변형(SS-Voc:closed) 간의 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 소수의 레이블 예제만을 사용하여도 통합 프레임워크가 지도학습, 제로샷, 오픈세트 인식 작업 전반의 성능을 향상시킬 수 있는가?
• RQ2 대규모 오픈어휘의 의미 원소를 통합함으로써 시각-의미 임베딩의 일반화 능력과 분리도는 어떻게 영향을 받는가?
• RQ3 외부 어휘 원소에서 유도된 최대 마진 제약 조건이 미리보지 않은 클래스의 인식 정확도에 얼마나 기여하는가?
• RQ4 최대 310,000개의 클래스를 가진 극한의 오픈세트 조건에서 모델의 성능은 어떠한가?
• RQ5 제한된 감독 학습 조건에서 기존 최신 기술의 ZSL 모델보다 제안된 방법이 우월한가?

주요 결과

• SS-Voc:full 모델은 ImageNet에서 레이블이 3,000개뿐인 조건에서 상위 1위 정확도 8.9%, 상위 5위 정확도 14.9%를 달성하며, ConSE(5.5%/7.8%)를 3.43%p 초월한다.
• 모든 ImageNet 인스턴스를 사용할 경우, 모델은 상위 1위 정확도 9.5%, 상위 5위 정확도 16.8%를 기록하며, ConSE와 DeViSE를 크게 능가한다.
• 모델은 대규모 오픈어휘 설정에서도 뛰어난 성능 유지를 보이며, ImageNet과 AwA에서 최대 310,000개의 클래스 레이블 조건에서도 성능을 유지한다.
• t-SNE 시각화 결과, 특히 'persian_cat'과 'raccoon'과 같은 세분화된 클래스에서 SS-Voc:full은 SVR과 SS-Voc:closed보다 더 밀도 있고 잘 분리된 클래스 클러스터를 생성함을 확인했다.
• 오픈어휘 기반 제약 조건 덕분에, 'persian_cat'을 'hamster'로 잘못 분류하는 등의 오분류가 감소한다.
• 큰 훈련 세트를 사용할수록 성능 향상 폭이 줄어들며, 이는 본 방법의 이점이 주로 저샷 및 오픈세트 조건에서 두드러진다는 것을 시사한다.