[논문 리뷰] LEWIS: Latent Embeddings for Word Images and their Semantics

Albert Gordo, Jon Almazán외 2명|arXiv (Cornell University)|2015. 09. 21.

Multimodal Machine Learning Applications참고 문헌 24인용 수 6

한 줄 요약

LEWIS는 전사 기반 모델이 아닌, 단어 이미지에서 직접 의미 개념을 예측하는 CNN 기반 모델을 제안한다. 전사 없이 이미지와 개념을 공유 잠재 공간에 임bedding하기 위해 가중 순위 손실를 사용한다. 이 모델은 희귀어에 대한 제로샷 일반화에서 높은 정확도(최대 95% mAP)를 달성하며, 전사 기반 기준 모델보다 의미를 끝에서 끝까지 끌어내는 방식으로 성능을 뛰어나게 한다.

ABSTRACT

The goal of this work is to bring semantics into the tasks of text recognition and retrieval in natural images. Although text recognition and retrieval have received a lot of attention in recent years, previous works have focused on recognizing or retrieving exactly the same word used as a query, without taking the semantics into consideration. In this paper, we ask the following question: \emph{can we predict semantic concepts directly from a word image, without explicitly trying to transcribe the word image or its characters at any point?} For this goal we propose a convolutional neural network (CNN) with a weighted ranking loss objective that ensures that the concepts relevant to the query image are ranked ahead of those that are not relevant. This can also be interpreted as learning a Euclidean space where word images and concepts are jointly embedded. This model is learned in an end-to-end manner, from image pixels to semantic concepts, using a dataset of synthetically generated word images and concepts mined from a lexical database (WordNet). Our results show that, despite the complexity of the task, word images and concepts can indeed be associated with a high degree of accuracy

연구 동기 및 목표

• 정확한 어휘 일치를 넘어서 도시 풍경 이해와 같은 맥락에서 단어 이미지의 의미 이해를 가능하게 하기 위해.
• 부정확한 전사 및 어휘 외 단어 처리에 의존하는 이단계 접근 방식의 한계를 해결하기 위해.
• 단어 이미지와 의미 개념이 함께 표현되는 컴act하고 공유되는 임베딩 공간을 학습하기 위해.
• 공유 표현을 통해 의미 유사도를 활용하여 훈련 중에 보지 못한 단어에 대한 제로샷 일반화를 가능하게 하기 위해.
• 미래 연구를 위해 대규모의 합성 단어 이미지에 대한 의미 주석 데이터셋을 생성하기 위해.

제안 방법

• 깊은 합성곱 신경망(CNN)이 가중 순위 손실를 사용하여, 주어진 단어 이미지에 대해 관련 의미 개념이 비관련 개념보다 높게 순위 매겨지도록 훈련된다.
• 모델은 두 가지 임베딩 함수를 학습한다: 하나는 단어 이미지(FC7 레이어를 통해), 다른 하나는 의미 개념(FC8 레이어를 통해), 모두 동일한 D차원 유클리드 공간으로 매핑된다.
• 최종 레이어의 가중치는 알려진 개념에 대한 전도적 임베딩로 사용되며, FC7 레이어는 훈련 중에 보지 못한 단어 이미지에 대한 유도적 임베딩을 제공한다.
• 네트워크는 합성적으로 생성된 단어 이미지와 WordNet에서 추출한 의미 개념을 쌍으로 하여 엔드 투 엔드로 훈련된다.
• 유사도 계산을 위해 검색 작업에서 특징을 L2 정규화하며, 매칭에 도트 곱을 사용한다.
• 이 접근 방식은 의미 쿼리와 개념 벡터의 덧셈/뺄셈과 같은 연산을 통해 복잡한 검색을 지원한다.

실험 결과

연구 질문

• RQ1 명시적인 전사 없이 단어 이미지 픽셀에서 의미 개념을 직접 예측할 수 있는가?
• RQ2 딥 CNN이 단어 이미지와 의미 개념이 의미적으로 정렬된 공유 임베딩 공간을 학습할 수 있는가?
• RQ3 학습 중에 보지 못한 어휘 외 단어에 대해 모델의 일반화 능력은 얼마나 뛰어나게 되는가?
• RQ4 특징 공간에서 의미를 직접 학습하는 것이 전사 기반의 이단계 접근 방식보다 성능이 뛰어나게 되는가?
• RQ5 개념 임베딩의 벡터 산술을 통해 의미 복합 쿼리를 지원할 수 있는가?

주요 결과

• LEWIS는 의미 목표로 훈련된 이미지-개념 작업에서 95%의 평균 평균 정밀도(mAP)를 달성하며, CNN-Dict 7 특징을 사용하는 이단계 기준 모델의 경우 뿐만 아니라 59%에 그친다.
• 모델은 훈련 중에 보지 못한 단어에 대해 56.1% mAP(K=128, l=7) 및 61.9% mAP(K=256, l=7)를 기록하며 강력한 제로샷 능력을 보여준다.
• 이미지-이미지 검색 결과에서 LEWIS는 높은 k-랭크에서도 높은 성능을 유지하지만, CNN-Dict 7 특징은 k=1을 초과하면 정확도가 급격히 떨어지며 정확히 일치하는 단어에 의존함을 보여준다.
• 정성적 결과에서는 의미적으로 유사한 개념들이 지표가 되지 않는 경우에도 잠재 공간 내에서 가까운 영역에 임베딩되어 있음을 확인할 수 있다.
• 개념 벡터 산술(예: 덧셈/뺄셈)을 통해 의미적으로 유의미한 복잡한 쿼리가 가능하며, 예를 들어 '식당'과 '음식'의 조합을 통해 '피자집'과 관련된 이미지를 검색할 수 있다.
• 모델은 서로 다른 전사 방식을 가진 이미지이지만 공통된 의미를 지닌 경우에도 성공적으로 검색할 수 있어, 시각적 변동성에 대한 강건성을 입증한다.