[논문 리뷰] Evaluating Multimodal Representations on Sentence Similarity: vSTS, Visual Semantic Textual Similarity Dataset

Oier López de Lacalle, Aitor Soroa외 1명|arXiv (Cornell University)|2018. 09. 11.

Topic Modeling참고 문헌 18인용 수 3

한 줄 요약

이 논문은 문장 쌍과 인간이 평가한 유사도 점수(0–5) 및 해당하는 이미지를 결합한 다중모달 데이터셋 vSTS를 소개한다. 이는 시각적 보강된 문장 표현을 평가하기 위한 것이다. 텍스트 전용 모델(예: 분해 가능한 주의 모델)과 이미지 표현(ResNet-50)을 조합하여 사용한 결과, 시각 정보가 문장 유사도 예측에 상당한 기여를 함을 입증하였으며, 최고의 텍스트 및 이미지 모델을 조합했을 때 테스트 세트에서 피어슨 상관계수 0.78을 달성하였다.

ABSTRACT

In this paper we introduce vSTS, a new dataset for measuring textual similarity of sentences using multimodal information. The dataset is comprised by images along with its respectively textual captions. We describe the dataset both quantitatively and qualitatively, and claim that it is a valid gold standard for measuring automatic multimodal textual similarity systems. We also describe the initial experiments combining the multimodal information.

연구 동기 및 목표

• 시각 정보가 의미 유사도 작업에서 문장 표현 모델을 어떻게 향상시키는지 평가하기 위한 표준화된 벤치마크를 구축하는 것.
• 이미지 표현만으로도 문장 유사도를 상당한 정확도로 예측할 수 있는지 조사하는 것.
• 텍스트와 이미지 표현을 병합했을 때 텍스트 전용 모델보다 성능 향상이 이루어지는지 검토하는 것.

제안 방법

• vSTS 데이터셋은 STS 벤치마크의 'STS-images' 서브셋에서 유도되었으며, 인간이 평가한 유사도 점수와 해당하는 이미지를 포함한 829개의 문장 쌍으로 구성되어 있다.
• 이미지 표현은 사전 학습된 ResNet-50 모델을 사용해 추출되었고, 텍스트 표현은 단어 겹침, GloVe 임베딩(중심점 평균화) 및 분해 가능한 주의 모델(DAM)을 통해 생성되었다.
• 유사도 점수는 문장 및 이미지 표현 간의 코사인 유사도를 사용해 계산되었다.
• 텍스트 및 이미지 예측을 융합하기 위해 덧셈, 곱셈 및 선형 회귀를 사용하여 모델 조합을 테스트하였다.
• 데이터셋은 개발 세트와 테스트 세트로 50%씩 분할되었으며, 유사도 점수 분포가 유지되도록 하였다.
• 선형 회귀의 파라미터는 개발 세트에서 10겹 교차 검증을 통해 튜닝되었다.

실험 결과

연구 질문

• RQ1 이미지 표현만으로도 상당한 정확도로 문장 유사도를 예측할 수 있는가?
• RQ2 텍스트와 이미지 표현을 병합했을 때 텍스트 전용 모델보다 문장 유사도 예측 성능이 향상되는가?
• RQ3 다양한 텍스트 기반 모델(예: 단어 겹침, GloVe, DAM)이 시각적 특징을 보강받았을 때의 성능은 어떻게 되는가?

주요 결과

• 이미지 전용 ResNet-50 모델은 테스트 세트에서 피어슨 상관계수 0.61을 기록하여, 시각적 표현만으로도 의미 있는 유사도 정보를 지닌다는 것을 시사한다.
• 텍스트 전용 분해 가능한 주의 모델(DAM)은 단일 모델 중에서 가장 높은 성능을 보였으며, 테스트 상관계수 0.69를 기록하였다.
• DAM과 ResNet-50를 선형 회귀를 통해 병합한 결과가 가장 우수했으며, 테스트 피어슨 상관계수 0.78를 달성하였다.
• 예측의 덧셈과 곱셈도 성능 향상에 기여하였으며, 최고의 조합(DAM + ResNet-50)은 모든 융합 방법에서 0.78의 상관계수를 기록하였다.
• 데이터셋은 낮은 유사도 점수에 대한 강한 편향을 보이며(819개의 인스턴스 중 159개가 점수 0), 그러나 의미 있는 평가를 위한 충분한 변동성을 유지하고 있다.
• 결과는 시각적 표현과 텍스트 표현이 상호보완적이며, 다중모달 문장 유사도 작업에서 시각적 입력이 텍스트 기반 추론을 향상시킨다는 점을 확인한다.