[논문 리뷰] Better Text Understanding Through Image-To-Text Transfer

Karol Kurach, Sylvain Gelly외 5명|arXiv (Cornell University)|2017. 05. 23.

Multimodal Machine Learning Applications참고 문헌 23인용 수 7

한 줄 요약

이 논문은 사전에 훈련된 CNN에서 추출한 이미지 임베딩과 직접적으로 정렬함으로써 문장 수준의 텍스트 표현을 향상시키는 간단하면서도 효과적인 모델인 시각적 강화 텍스트 임베딩(VETE)을 제안한다. 문장 임베딩을 끝에서 끝까지 훈련하여 실제 이미지 특징과 일치하도록 하며, 피어슨 상관계수 손실을 사용함으로써 VETE는 이전의 다중모달 및 순수 텍스트 방법들을 초월하여 SemEval 텍스트 유사도 벤치마크에서 우수한 성능을 기록하며, 훨씬 적은 훈련 데이터로 이미지 관련 데이터셋에서 최신 기술 수준의 결과를 달성한다.

ABSTRACT

Generic text embeddings are successfully used in a variety of tasks. However, they are often learnt by capturing the co-occurrence structure from pure text corpora, resulting in limitations of their ability to generalize. In this paper, we explore models that incorporate visual information into the text representation. Based on comprehensive ablation studies, we propose a conceptually simple, yet well performing architecture. It outperforms previous multimodal approaches on a set of well established benchmarks. We also improve the state-of-the-art results for image-related text datasets, using orders of magnitude less data.

연구 동기 및 목표

• 이미지-텍스트 쌍에서 시각 신호를 통합하여 일반 목적의 텍스트 임베딩을 향상시키기 위해.
• 단어 임베딩을 먼저 학습하고 조합하는 것과는 달리, 문장 임베딩을 직접 최적화하는 것이 더 나은 전이 성능을 내는지 조사하기 위해.
• 다양한 모델 아키텍처, 손실 함수, 훈련 데이터셋이 다중모달 환경에서 텍스트 임베딩 품질에 미치는 영향을 평가하기 위해.
• 복잡한 모델들인 LSTMs보다 단순한 텍스트 인코더인 BOW가 다중모달 전이 학습에서 더 나은 성능을 낼 수 있는지 판단하기 위해.

제안 방법

• 모델은 사전에 훈련된 CNN을 사용하여 이미지 임베딩을 추출하고, 이를 문장 임베딩 훈련의 목표로 사용한다.
• 문장 임베딩는 단어 임베딩의 L2 정규화된 합으로 구성되며, 텍스트 인코더는 종단 간으로 훈련된다.
• 예측된 문장-이미지 유사도와 실제 유사도 점수 간의 피어슨 상관계수를 최적화한다.
• 공분산, 피어슨 상관계수, 서rogate 켄달 타우, 쌍별 랭킹 손실과 같은 다양한 손실 함수를 평가한다.
• 사전에 단어 임베딩을 조합하는 방식(단어 수준 훈련)과 전체 문장 표현을 함께 최적화하는 방식(문장 수준 훈련)을 비교한다.
• 모델은 MS COCO, SBU, Pinterest5M 등의 여러 데이터셋에서 훈련되고 평가되며, SemEval 벤치마크에서 성능이 측정된다.

실험 결과

연구 질문

• RQ1 문장 임베딩을 이미지 표현과 직접적으로 정렬하는 것이 순수 텍스트 사전 훈련을 넘어서 일반 텍스트 이해를 향상시킬 수 있는가?
• RQ2 시각적 감독을 받는 종단 간 훈련을 통해 문장 임베딩을 훈련하는 것이, 먼저 단어 임베딩을 학습하고 나서 조합하는 방법보다 우월한가?
• RQ3 다양한 텍스트 인코더(예: BOW 대 RNN)와 손실 함수가 다중모달 문장 임베딩 품질에 어떤 영향을 미치는가?
• RQ4 간단한 모델 아키텍처가 이전 방법들보다 훨씬 적은 훈련 데이터로도 텍스트 유사도 작업에서 최신 기술 수준의 결과를 달성할 수 있는가?

주요 결과

• VETE-BOW는 SemEval 벤치마크에서 피어슨 상관계수 0.797을 기록하여 이전의 다중모달 모델들을 능가했으며, 이미지 관련 데이터셋에서는 최신 기술 수준의 결과를 달성했다.
• Pinterest5M 데이터셋에서 VETE-BOW는 네 개의 평가 세트 평균 점수 0.803을 기록하여 모든 베이스라인을 크게 능가했다.
• 문장 수준 훈련은 단어 수준 훈련보다 우수한 성능을 보였으며, 이미지2014에서 0.861의 점수를 기록한 반면, 단어 수준 훈련은 0.576이었다. 이는 공동 최적화가 공존과 보완적 의미를 더 잘 포착할 수 있음을 시사한다.
• 간단한 구조임에도 불구하고 BOW 기반 VETE 모델은 더 복잡한 RNN 기반 모델들을 능가했으며, 이는 다중모달 전이 학습에서 아키텍처의 복잡성이 항상 성능 향상으로 이어지는 것은 아님을 시사한다.
• 이전의 최신 기술 수준 방법들보다 수 개의 주기 차이 나는 훨씬 적은 훈련 데이터로도, VETE는 이미지 관련 텍스트 유사도 작업에서 최신 기술 수준의 성능을 달성했다.
• 서rogate 켄달 타우(SKT) 손실이 뛰어난 성능을 보였으며, 이는 순서 기반 상관계수 기반 손실이 다중모달 학습에서 피어슨 상관계수의 유망한 대안이 될 수 있음을 시사한다.