[논문 리뷰] Tell and Predict: Kernel Classifier Prediction for Unseen Visual Classes from Unstructured Text Descriptions

Mohamed Elhoseiny, Ahmed Elgammal외 1명|arXiv (Cornell University)|2015. 06. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 5

한 줄 요약

이 논문은 미사전에 등장하지 않은 클래스의 비정형 텍스트 기술서를 사용하여 제로샷 시각 인식을 위한 커널화된 분류기 예측 프레임워크를 제안한다. 텍스트에서 시각적 공간으로의 도메인 전이 함수를 학습하고, 텍스트를 위한 분포적 의미 커널을 도입함으로써, 이미지 수준의 애너테이션을 필요로 하지 않고 명시적인 커널 분류기를 예측한다. Birds 데이터셋에서 5.35%의 다중분류 정확도를 달성하여 랜덤 베이스라인 대비 132.6% 향상된 성능을 기록한다.

ABSTRACT

In this paper we propose a framework for predicting kernelized classifiers in the visual domain for categories with no training images where the knowledge comes from textual description about these categories. Through our optimization framework, the proposed approach is capable of embedding the class-level knowledge from the text domain as kernel classifiers in the visual domain. We also proposed a distributional semantic kernel between text descriptions which is shown to be effective in our setting. The proposed framework is not restricted to textual descriptions, and can also be applied to other forms knowledge representations. Our approach was applied for the challenging task of zero-shot learning of fine-grained categories from text descriptions of these categories.

연구 동기 및 목표

• 학습 이미지가 전혀 없는 상황에서도 텍스트 기술서를 고유 정보로 활용하여, 새로운 클래스에 대한 제로샷 시각 인식을 가능하게 하기 위해.
• 이미지 수준의 속성 애너테이션을 제거하고, 오직 카테고리 수준의 텍스트 기술서에 의존하여 이를 달성하기 위해.
• 텍스트 임베딩에서 직접적으로 시각 영역의 명시적 커널화된 분류기를 예측함으로써, 새로운 테스트 이미지에 직접 적용할 수 있도록 하기 위해.
• 제로샷 전이 성능 향상을 위해 클래스 기술서 간의 의미 유사성을 효과적으로 포착할 수 있는 분포적 의미 커널을 개발하기 위해.
• 텍스트 및 속성 기반 고유 정보를 모두 적용하여 프레임워크의 유연성을 입증하고, 다양한 모odal 간에서 안정적인 성능을 보여주기 위해.

제안 방법

• 고유 정보 공간(예: 텍스트 또는 속성)에서 시각 분류 공간으로의 도메인 전이 문제로 제로샷 학습을 공식화하고, 커널화된 매핑 함수를 사용한다.
• 시각적 영역에서 일반화 및 강건성을 향상시키기 위해 도메인 전이 함수에 일종의 SVM 기반 조정을 적용한다.
• 사전 학습된 단어 임베딩(예: GoogleNews에서의 Word2Vec)을 사용하여 분포적 의미 커널(DS 커널)을 도입함으로써, 클래스 기술서 간의 의미 유사성 계산을 효과적으로 수행한다.
• 다중 커널 학습(MKL)을 적용하여 시각적 특징(예: Caffe의 ImageNet 모델에서 추출한 CNN 특징)과 커널화된 텍스트 표현을 융합함으로써 분류기 성능을 향상시킨다.
• 예측된 분류기가 명시적인 커널 형식을 갖도록 리프레젠터 정리(Representer Theorem)를 활용함으로써, 재학습 없이도 새로운 테스트 이미지에 대해 직접 추론이 가능하게 한다.
• 이미지-속성 또는 이미지-텍스트 쌍 애너테이션의 필요성을 제거하기 위해 오직 카테고리 수준의 고유 정보만을 사용하여 모델을 학습함으로써, 약한 지도 학습 방식을 구현한다.

실험 결과

연구 질문

• RQ1 학습 이미지가 전혀 없는 상황에서, 비정형 텍스트 기술서만을 사용하여 새로운 시각적 클래스에 대한 커널화된 분류기를 직접 예측할 수 있는가?
• RQ2 분포적 의미 커널은 제로샷 시각 분류를 위해 텍스트 기술서 간의 의미 관계를 얼마나 효과적으로 포착하는가?
• RQ3 고유 정보에서 직접 예측된 명시적 커널 분류기가 전통적인 속성 기반 또는 임베딩 기반 제로샷 학습 방법보다 우수한 성능을 보이는가?
• RQ4 고유 정보로 텍스트 기술서와 구조화된 속성을 각각 사용할 경우, 프레임워크의 성능는 어떻게 달라지는가?
• RQ5 커널 및 특징 표현 방식(예: RBF, TF-IDF, DS 커널)의 선택이 제로샷 분류 정확도에 얼마나 큰 영향을 미치는가?

주요 결과

• 제안된 방법은 텍스트에 대해 분포적 의미 커널을, 이미지에 대해 RBF 커널을 사용하여 Birds 데이터셋에서 5.35%의 다중분류 정확도를 달성하였으며, 이는 선형 분류기 기준 베이스라인(2.65%)과 이전 최고 성능 방법보다 뚜렷이 뛰어난 성능이다.
• Norouzi 등(2014)의 방법이 뿐만 아니라, 무작위 베이스라인 대비 132.6% 향상된 성능을 기록하였다.
• 속성을 고유 정보로 사용할 경우, 메서드는 5.6%의 다중분류 정확도를 달성하였으며, DAP 모델(4.8%)을 초월하였고, 정확도에서 16.6% 향상되고, 새로운 클래스에서 재현율이 8.6% 높아졌다.
• 분포적 의미 커널을 적용함으로써, TF-IDF 텍스트 특징에 RBF 커널을 적용한 경우 대비 성능이 27.3% 향상되어 의미 기반 텍스트 커널의 가치를 입증하였다.
• 프레임워크는 새로운 클래스에 대해 평균 76.7%의 재현율을 기록하여, DAP 모델의 68.1%를 초월하였으며, 제로샷 환경에서 진짜 양성 예측의 정확도가 높다는 것을 시사한다.
• 메서드의 성능는 고유 정보의 질에 매우 민감하게 의존한다: 속성이 텍스트보다 더 좋은 결과를 도출함으로써, 더 의미 있는 고유 표현일수록 더 나은 시각 분류기 전이가 가능하다는 가설을 뒷받침한다.