[논문 리뷰] Learning Deep Representations of Fine-grained Visual Descriptions

Scott Reed, Zeynep Akata외 2명|arXiv (Cornell University)|2016. 05. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 53인용 수 146

한 줄 요약

이 논문은 처음부터 끝까지 심층 언어 모델을 학습시켜 미세한 텍스트 설명과 이미지의 정밀한 정렬을 달성하고, CUB와 Flowers에서 수작업 속성(attribute)을 사용하지 않고도 제로샷 인식 및 검색에서 최첨단 성과를 달성한다.

ABSTRACT

State-of-the-art methods for zero-shot visual recognition formulate learning as a joint embedding problem of images and side information. In these formulations the current best complement to visual features are attributes: manually encoded vectors describing shared characteristics among categories. Despite good performance, attributes have limitations: (1) finer-grained recognition requires commensurately more attributes, and (2) attributes do not provide a natural language interface. We propose to overcome these limitations by training neural language models from scratch; i.e. without pre-training and only consuming words and characters. Our proposed models train end-to-end to align with the fine-grained and category-specific content of images. Natural language provides a flexible and compact way of encoding only the salient visual aspects for distinguishing categories. By training on raw text, our model can do inference on raw text as well, providing humans a familiar mode both for annotation and retrieval. Our model achieves strong performance on zero-shot text-based image retrieval and significantly outperforms the attribute-based state-of-the-art for zero-shot classification on the Caltech UCSD Birds 200-2011 dataset.

연구 동기 및 목표

• 풍부한 미세한 시각적 설명을 사용해 처음부터 학습된 고용량 텍스트 모델로 속성 기반 부가 정보를 대체하도록 동기를 부여한다.
• 제로샷 인식 및 검색을 위해 이미지와 텍스트를 공동 인코딩하는 대칭형 딥 구조적 공동 임베딩(DS-SJE)을 개발한다.
• 새와 꽃에 대한 미세한 시각적 설명 데이터셋을 수집하고 엔드투엔드로 여러 텍스트 인코더를 평가한다.
• 텍스트 기반 임베딩이 CUB에서 제로샷 분류에서 속성 기반의 최첨단보다 우수하며 검색에서도 경쟁력 있음을 보여준다.

제안 방법

• 공유 점수 함수 F(v,t)=θ(v)^Tφ(t)를 사용해 이미지-텍스트 및 텍스트-이미지 호환성을 최대화하는 대칭 목표인 DS-SJE를 도입한다.
• 이미지 인코더를 고정된 상태(GoogLeNet 특성)로 두고 텍스트 인코더(CNN, CNN-RNN, LSTM)를 처음부터 끝까지 학습한다.
• 세 가지 텍스트 모델 계열을 제공한다: Word-CNN, Char-CNN, 및 CNN-RNN 변형으로 미세한 설명을 인코딩한다.
• DS-SJE를 최적화하기 위해 SGD/RMSprop를 사용한 볼록 대리 손실(방정식 5–7)을 미니배치 단위로 적용한다.
• 이미지당 한 문장으로 된 미세한 설명 열 개를 수집하고 제로샷 분류 및 검색을 CUB와 Flowers에서 평가한다.

실험 결과

연구 질문

• RQ1 고용량의 스크래치에서 학습된 텍스트 인코더가 미세한 설명에서 제로샷 분류의 속성 기반 방법과 격차를 좁힐 수 있는가?
• RQ2 비대칭 버전에 비해 대칭형 이미지-텍스트 임베딩(DS-SJE)이 제로샷 인식 및 검색을 개선하는가?
• RQ3 미세한 설명으로 학습될 때 어떤 텍스트 인코딩 아키텍처가 제로샷 학습 및 검색을 가장 잘 지원하는가?
• RQ4 훈련 텍스트 데이터의 양이 모델 간 제로샷 성능에 어떤 영향을 미치는가?
• RQ5 테스트 레이블 임베딩 없이 텍스트 설명만으로 제로샷 검색을 효과적으로 수행하는 것이 가능한가?

주요 결과

• DS-SJE는 텍스트 모델 전반에 걸쳐 비대칭 변형보다 제로샷 검색을 일관되게 향상시킨다.
• Char-CNN-RNN과 Word-CNN-RNN이 최상위 성능을 달성하고, DS-SJE가 CUB 분류에서 속성 기반 최첨단을 능가한다.
• Word-CNN-RNN이 더 많은 캡션으로 학습될 때 분류 및 검색에서 CUB의 전반적인 제로샷 성능이 가장 우수하다.
• Flowers에서 Word-LSTM 및 Word-CNN-RNN 변형이 최첨단에 근접한 결과를 보이며 DS-SJE가 강력한 검색 성능을 제공한다.
• 이미지당 학습 문장 수를 늘리면 신경망 텍스트 인코더의 성능이 향상되어 제로샷 작업에서 종종 BoW 및 word2vec 기반선보다 우수하다.
• 새와 꽃에 대한 미세한 시각적 설명 데이터셋이 수집되어 텍스트 인코더의 엔드투엔드 학습을 가능하게 했다.