[논문 리뷰] A Visual Embedding for the Unsupervised Extraction of Abstract Semantics

Dario García-Gasulla, Béjar, J.외 5명|arXiv (Cornell University)|2015. 07. 31.

Multimodal Machine Learning Applications참고 문헌 18인용 수 3

한 줄 요약

이 논문은 GoogLeNet을 사용하여 이미지 클래스의 고차원적이고 희박한 벡터 임베딩을 생성함으로써 딥 네ural 네트워크 특징에서 추상적 시각적 의미를 추출하는 방법을 제안한다. 이 임베딩들이 언어적 지도 없이도 의미 관계를 포착함을 입증하며, 예를 들어 118종의 개 품종과 같이 의미적으로 유사한 개념들을 군집시키고, 살아있는 것과 아닌 것과 같은 고수준 카테고리들을 비지도적으로 분리함으로써, 시각적 추론 및 인지 시스템에 잠재적으로 활용 가능하다.

ABSTRACT

Vector-space word representations obtained from neural network models have been shown to enable semantic operations based on vector arithmetic. In this paper, we explore the existence of similar information on vector representations of images. For that purpose we define a methodology to obtain large, sparse vector representations of image classes, and generate vectors through the state-of-the-art deep learning architecture GoogLeNet for 20K images obtained from ImageNet. We first evaluate the resultant vector-space semantics through its correlation with WordNet distances, and find vector distances to be strongly correlated with linguistic semantics. We then explore the location of images within the vector space, finding elements close in WordNet to be clustered together, regardless of significant visual variances (e.g. 118 dog types). More surprisingly, we find that the space unsupervisedly separates complex classes without prior knowledge (e.g. living things). Afterwards, we consider vector arithmetics. Although we are unable to obtain meaningful results on this regard, we discuss the various problem we encountered, and how we consider to solve them. Finally, we discuss the impact of our research for cognitive systems, focusing on the role of the architecture being used.

연구 동기 및 목표

• 딥 네ural 네트워크 특징이 NLP의 워드 벡터와 유사한 추상적 시각적 의미를 인코딩할 수 있는지 탐색하는 것.
• 사전 훈련된 CNN 특징에서 이미지 클래스의 고차원적이고 희박한 벡터 표현을 생성하는 방법론을 개발하는 것.
• 이러한 시각적 임베딩이 명시적 지도 없이도 언어적 및 개념적 의미를 반영하는지 평가하는 것.
• 이러한 임베딩이 개념 발견 및 시각적 추론과 같은 고수준 인지 작업에 잠재력을 지닌지 조사하는 것.
• 벡터 산술을 시각적 임베딩에 적용할 때의 한계를 규명하고未래 향상 방향을 제안하는 것.

제안 방법

• 모든 레이어의 활성화 값을 추출하기 위해 사전 훈련된 GoogLeNet(22층 CNN)을 사용하여 데이터셋 내 각 이미지에 대해 특징을 추출한다.
• 모든 레이어에 걸친 특징 활성화를 집계하고 정규화하여 각 이미지 클래스당 하나의 고차원 벡터를 형성한다.
• ImageNet의 20,000개 이미지 클래스를 위한 수백만 차원이 넘는 희박한 벡터 공간 표현을 구축한다.
• 벡터 공간 내 의미적 구조를 분석하기 위해 클러스터링 알고리즘을 활용하며, 의미 거리 기반 유사도를 평가한다.
• 벡터 거리와 WordNet 의미 거리 간의 상관관계를 분석하여 의미의 일관성 여부를 평가한다.
• 임베딩 공간 내에서 이미지 클래스의 공간적 조직을 분석하여 추상적 개념의 비지도 군집화 여부를 탐지한다.

실험 결과

연구 질문

• RQ1 딥 CNN 특징가 간단한 분류를 초월해 추상적 시각적 의미를 인코딩할 수 있는가?
• RQ2 임베딩 공간 내 벡터 거리가 인간 애너테이션된 의미 거리(예: WordNet)와 어느 정도 상관관계를 가지는가?
• RQ3 시각적 변동(예: 118종의 개 품종)이 있음에도 불구하고, 의미적으로 관련된 이미지 클래스들이 임베딩 공간에서 비지도로 군집되는가?
• RQ4 생물체와 비생물체와 같은 고수준 의미 카테고리가 이러한 레이블에 대해 사전 훈련 없이도 임베딩 공간에서 자연스럽게 분리되는가?
• RQ5 시각적 임베딩에 벡터 산술(예: 유추)을 적용할 때의 한계는 무엇이며, 이를 어떻게 보완할 수 있는가?

주요 결과

• 학습된 임베딩 공간 내의 벡터 거리는 WordNet 의미 거리와 강한 상관관계를 보이며, 이는 임베딩이 언어적 의미를 유지하고 있음을 시사한다.
• 크기, 색상, 자세의 상당한 시각적 변동에도 불구하고 의미적으로 유사한 이미지 클래스—예를 들어 118종의 개 품종—이 임베딩 공간 내에서 군집되어 있음을 확인하였다.
• 모델은 생물체와 비생물체와 같은 고수준 카테고리를 사전 훈련 없이도 비지도로 분리함으로써 추상적이고 비시각적인 특징을 포착하고 있음을 시사한다.
• 하나의 하위기호적 시각적 특징을 상징적 개념 표현과 유사하게 통합함으로써, 임베딩 공간이 추상적 의미를 표현할 수 있음을 보여준다.
• 시각적 임베딩에 대한 벡터 산술 연산은 의미 있는 결과를 도출하지 못하였으며, 이는 이러한 연산을 시각 데이터에 적용할 때의 과제를 드러낸다.
• 이 방법론은 하위기호적 픽셀 수준의 데이터를 고수준의 상징적 지식으로 성공적으로 변환하였으며, 이는 시각적 추론 및 제로샷 러닝과 같은 잠재적 응용을 가능하게 한다.