[논문 리뷰] Self-supervised learning of visual features through embedding images into text topic spaces

Lluís Gómez, Yash Patel외 3명|arXiv (Cornell University)|2017. 05. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 38인용 수 18

한 줄 요약

이 논문은 다중모달 위키백과 기사에서 LDA로 임bed된 텍스트를 사용하여 이미지가 등장하는 의미적 주제 맥락을 예측하도록 CNN을 훈련시키는 자기지도 학습 방법인 TextTopicNet을 제안한다. 노이즈가 섞인 무료 텍스트 주석을 활용해 모델은 인간 레이블이 전혀 필요 없는 상태에서 분류, 객체 검출, 다중모달 검색 등에서 최신 기술을 초월하는 성능을 달성하는 특징을 학습한다.

ABSTRACT

End-to-end training from scratch of current deep architectures for new computer vision problems would require Imagenet-scale datasets, and this is not always possible. In this paper we present a method that is able to take advantage of freely available multi-modal content to train computer vision algorithms without human supervision. We put forward the idea of performing self-supervised learning of visual features by mining a large scale corpus of multi-modal (text and image) documents. We show that discriminative visual features can be learnt efficiently by training a CNN to predict the semantic context in which a particular image is more probable to appear as an illustration. For this we leverage the hidden semantic structures discovered in the text corpus with a well-known topic modeling technique. Our experiments demonstrate state of the art performance in image classification, object detection, and multi-modal retrieval compared to recent self-supervised or natural-supervised approaches.

연구 동기 및 목표

• 대규모 인간 레이블이 필요한 데이터셋에 의존하지 않는 시각적 특징 학습을 위한 자기지도 학습 방법을 개발하는 것.
• 그림이 포함된 기사의 텍스트 의미가 CNN 훈련을 위한 강력한 지도 신호가 될 수 있는지 조사하는 것.
• 단지 자유롭게 이용 가능한 다중모달 웹 콘텐츠만을 사용하여 딥 시각 모델을 엔드 투 엔드로 훈련할 수 있도록 하는 것.
• 일반적인 주제 수준의 텍스트 표현이 후행 작업에 대해 이식 가능한 시각적 특징을 제공할 수 있는지 보여주는 것.
• 추가 미세조정이나 레이블 없이도 제로샷 다중모달 검색을 가능하게 하는 것.

제안 방법

• 이 방법은 주어진 이미지의 주제 확률 분포를 예측하기 위해 CNN을 사용하며, 주제들은 그림이 포함된 위키백과 기사의 텍스트에 대한 LDA 모델링에서 유도된다.
• 각 기사의 텍스트 내용은 잠재 디리클레 분포(Latent Dirichlet Allocation, LDA)를 사용하여 주제-확률 벡터로 인코딩되어 시각적 특징 학습의 지도 신호를 형성한다.
• CNN은 이미지가 관련된 텍스트와 동일한 주제 공간에 매핑되도록 훈련되며, 예측된 주제 분포와 진짜 주제 분포 간의 교차 엔트로피 손실을 사용한다.
• 미세조정 없이도 훈련된 네트워크의 다양한 레이어(예: pool5, fc6, fc7, prob)에서 추출한 특징을 후행 평가에 사용한다.
• 다중모달 검색은 주제 공간 내에서 쿼리(이미지 또는 텍스트) 임베딩과 데이터베이스 항목 간의 KL 발산을 계산하여 수행된다.
• 이 방법은 이미지 수준의 레이블이나 ImageNet에서의 사전 훈련이 필요 없으며, 유일하게 위키백과에서의 약간의 정렬된 이미지-텍스트 쌍에 의존한다.

실험 결과

연구 질문

• RQ1 그림이 포함된 기사의 텍스트 의미 맥락만을 사용하여 자기지도 시각적 특징 학습을 효과적으로 달성할 수 있는가?
• RQ2 주제 수준의 지도 신호를 통해 학습된 시각적 특징이 이미지 분류나 객체 검출과 같은 후행 작업으로 일반화되는 정도는 어떠한가?
• RQ3 이미지가 나타나는 주제 맥락을 예측하도록 훈련된 CNN이 분류 가능한 시각적 특징을 얼마나 잘 학습할 수 있는가?
• RQ4 레이블이 전혀 없는 상태에서 이 방법이 감독 학습 또는 자기지도 학습 기반 모델과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 모델은 동의어나 관련 개념 간의 의미 유사성을 포괄하는 다의어적 이미지 표현을 학습하는가?

주요 결과

• TextTopicNet은 위키백과 이미지-텍스트 쌍에서의 자기지도 훈련만으로 ImageNet-1K 분류에서 74.1%의 top-1 정확도를 달성하여 최근의 자기지도 학습 방법들을 능가한다.
• STL-10 데이터셋에서 모델은 82.4%의 정확도를 기록했으며, C-SVDDNet과 같은 감독 기반 기준 모델을 뛰어넘고 외부 데이터로 훈련된 모델들과도 유사한 성능을 보였다.
• 위키백과 데이터셋에서의 다중모달 검색에서 TextTopicNet은 평균 평균 정확도(MAP) 38.87%를 기록했으며, 모든 비감독 방법을 능가하고 감독 기반 기준 모델에 가까운 성능을 보였다.
• 정성적 분석 결과 주제 레이어(prob)에서 추출한 특징은 외관이 다를지라도 의미적으로 유사한 근접 이웃을 제공함으로써 강력한 의미 이해 능력을 보였다.
• 모델은 다의어적 표현을 학습한다: 'airplane'(기체), 'flight'(비행), 'aircraft'(항공기)와 같은 쿼리는 유사한 이미지를 검색함으로써 의미 일반화 능력을 보였다.
• 초기 레이어(예: pool5)에서 추출한 특징은 더 시각적으로 유사한 근접 이웃을 제공함으로써 특징 계층에서 의미 유사성과 시각적 유사성 간의 상충 관계를 보여주었다.