[논문 리뷰] iParaphrasing: Extracting Visually Grounded Paraphrases via an Image

Chenhui Chu, Mayu Otani외 1명|arXiv (Cornell University)|2018. 06. 12.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 이미지 기반 클러스터링을 사용하여 이미지 내 동일한 시각적 개념을 묘사하는 서로 다른 어절 표현(시각 기반 동의어, VGP)을 추출하는 새로운 작업인 iParaphrasing를 제안한다. 이미지 주목을 통합한 지도 학습 신경망을 제안하여 기존 방법을 능가하며, Flickr30k Entities 데이터셋에서 조정된 랜드 인덱스(ARI) 62.35와 F-score 84.16을 달성하여 시각적 맥락이 동의어 식별에 기여하는 바를 입증한다.

ABSTRACT

A paraphrase is a restatement of the meaning of a text in other words. Paraphrases have been studied to enhance the performance of many natural language processing tasks. In this paper, we propose a novel task iParaphrasing to extract visually grounded paraphrases (VGPs), which are different phrasal expressions describing the same visual concept in an image. These extracted VGPs have the potential to improve language and image multimodal tasks such as visual question answering and image captioning. How to model the similarity between VGPs is the key of iParaphrasing. We apply various existing methods as well as propose a novel neural network-based method with image attention, and report the results of the first attempt toward iParaphrasing.

연구 동기 및 목표

• 이미지의 다양한 문장 기반 묘사에서 동일한 시각적 개념을 묘사하는 동의어를 식별하는 데 도전한다.
• 시각 기반 동의어(VGP)를 활용하여 시각 질문 응답 및 이미지 캡션 생성과 같은 다중모달 NLP 작업을 향상시킨다.
• 문장만으로는 모호하거나 의미적으로 다양할 수 있는 동의어 식별에 시각적 맥락이 어떻게 기여하는지 탐색한다.
• 문자 및 시각적 특징을 동시에 인코딩하여 VGP 유사도를 모델링하는 신경망 모델을 개발하고 평가한다.

제안 방법

• 동일한 이미지 영역을 묘사하는 어휘들이 VGP로 그룹화되는 클러스터링 문제로 iParaphrasing를 정식화한다.
• 기존의 여러 비지도 유사도 방법을 적용한다: 문장 위치 기반, 번역 확률 기반, 임베딩 기반 유사도.
• 텍스트 특징(e.g., FastText, CCA)과 시각적 특징을 이미지 주목을 통해 통합하는 새로운 지도 학습 신경망(SNN)을 제안하여 VGP 유사도를 모델링한다.
• 문장 쌍을 비교할 때 관련된 이미지 영역을 동적으로 가중치를 부여하는 이미지 주목 메커니즘을 활용하여 의미적으로 유사하지만 시각적으로는 다를 수 있는 표현 간의 구분을 향상시킨다.
• 순수 텍스트 모델과 다중모달 모델의 장점을 결합하기 위해 SNN 및 SNN+이미지 모델의 라이트 퓨전 앙상블을 사용한다.
• 엔티티가 이미 이미지 영역에 대응되어 있는 Flickr30k Entities 데이터셋에서 모델을 학습하고 평가하여 지도 기반 VGP 추출을 가능하게 한다.

실험 결과

연구 질문

• RQ1 시각적 맥락은 의미적으로 동일하지만 문장적으로 다양하게 묘사된 동일한 이미지 영역을 설명하는 동의어 식별에 크게 기여하는가?
• RQ2 임베딩 기반, 번역 기반 등 다양한 비지도 유사도 방법은 시각 기반 동의어 탐지에서 어떻게 비교되는가?
• RQ3 이미지 주목 기반 신경망은 순수 텍스트 또는 순수 시각 기반 기준보다 VGP 탐지에서 얼마나 뛰어난가?
• RQ4 어떤 종류의 동의어 쌍이 시각 정보에서 가장 큰 도움을 받는가? 또 어떤 경우에 시각 신호가 성능을 떨어뜨릴 수 있는가?
• RQ5 노이즈가 있는 어휘 임베딩과 잘못된 주목 메커니즘은 VGP 탐지에서 거짓 양성 결과를 유발하는 데 어떤 기여를 하는가?

주요 결과

• 이미지 주목 기반의 SNN+image 모델이 가장 뛰어난 성능을 보이며, 조정된 랜드 인덱스(ARI) 62.35와 F-score 84.16을 기록하여 모든 다른 방법을 능가한다.
• 이미지 주목은 사람과 관련된 동의어 쌍 약 50%에서 VGP 탐지 성능을 향상시키며, 이는 텍스트 묘사가 다양하지만 동일한 시각적 실체를 가리키는 경우에 해당한다.
• 비슷한 비율로 약 30%의 경우에서 시각적 맥락이 장면이나 물체와 같은 비인간 실체의 동의어 식별에 도움이 되지만, 주목 정확도는 다양하다.
• 약 20%의 경우에서 시각 정보가 성능 저하를 유도하며, 특히 의미적으로 모호한 영역(예: '창문'을 '가게'로 잘못 인식)에 주목이 갈 경우가 많다.
• 거짓 양성 결과의 주요 원인은 노이즈가 있는 어휘 임베딩(e.g., '부츠'와 '하이힐'이 임베딩 공간에서 가까움) 또는 유사한 이미지 영역에 잘못된 주목이 이루어지는 것이다.
• SNN 및 SNN+이미지 모델의 앙상블은 성능을 추가로 향상시켜 순수 텍스트 모델과 다중모달 모델 간의 상호보완적 강점을 입증한다.