[논문 리뷰] MAGIC: Multimodal relAtional Graph adversarIal inferenCe for Diverse and Unpaired Text-based Image Captioning

Wenqiao Zhang, Haochen Shi외 6명|arXiv (Cornell University)|2021. 12. 13.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

MAGIC는 유 salient한 객체를 중심으로 적응형 다중모odal 관계 그래프(MRG)를 구축하고, 쌓인 생성 적대 신경망(CGAN)을 활용하여 쌍화되지 않은 훈련 데이터 없이도 유창하고 의미적으로 일관된 캡션을 생성하는 새로운 프레임워크를 제안한다. 이 방법은 텍스트 기반 이미지 캡션 생성에서 다양성과 품질 측면에서 최신 기술 수준(SOTA)의 성능을 달성하며, 이미지-캡션 쌍이 전혀 필요하지 않다.

ABSTRACT

Text-based image captioning (TextCap) requires simultaneous comprehension of visual content and reading the text of images to generate a natural language description. Although a task can teach machines to understand the complex human environment further given that text is omnipresent in our daily surroundings, it poses additional challenges in normal captioning. A text-based image intuitively contains abundant and complex multimodal relational content, that is, image details can be described diversely from multiview rather than a single caption. Certainly, we can introduce additional paired training data to show the diversity of images' descriptions, this process is labor-intensive and time-consuming for TextCap pair annotations with extra texts. Based on the insight mentioned above, we investigate how to generate diverse captions that focus on different image parts using an unpaired training paradigm. We propose the Multimodal relAtional Graph adversarIal inferenCe (MAGIC) framework for diverse and unpaired TextCap. This framework can adaptively construct multiple multimodal relational graphs of images and model complex relationships among graphs to represent descriptive diversity. Moreover, a cascaded generative adversarial network is developed from modeled graphs to infer the unpaired caption generation in image-sentence feature alignment and linguistic coherence levels. We validate the effectiveness of MAGIC in generating diverse captions from different relational information items of an image. Experimental results show that MAGIC can generate very promising outcomes without using any image-caption training pairs.

연구 동기 및 목표

• 텍스트가 풍부한 이미지, 특히 텍스트가 널리 퍼져 있는 실생활 장면에서 다각적이고 세밀한 캡션을 생성하는 데 도전한다.
• 단일 캡션 생성 모델이 이미지의 내용을 여러 시각에서 포괄하지 못하는 한계를 극복한다.
• 비용이 많이 들고 노동력이 많이 필요한 이미지-캡션 쌍 애너테이션에 의존하지 않고도 다양한 캡션을 생성하는 프레임워크를 개발한다.
• 이미지 내 객체, 특성, 텍스트 간의 복잡한 내부 및 교차 모달 관계를 모델링하여 더 풍부한 캡션 생성을 가능하게 한다.
• 공유된 잠재 공간에서 이미지 및 문장 특징을 정렬하면서 언어적 일관성을 유지함으로써 효과적인 쌍화되지 않은 학습을 가능하게 한다.

제안 방법

• 프레임워크는 중심 객체 인식 풀(COP)을 사용하여 다수의 다중모달 관계 그래프(MRG)를 구성하는 데 도움이 되는 주목할 만한 이미지 영역을 식별한다.
• 각 MRG는 중심 객체와 관련된 시각적 요소 및 텍스트 요소 간의 의미적 관계를 인코딩하며, 내부 및 교차 모달 관계를 모두 포착한다.
• 이미지-문장 특징 정렬을 모델링하고 언어적 유창성을 보장함으로써 다양한 캡션을 생성하기 위해 쌓인 생성 적대 신경망(CGAN)을 활용한다.
• CGAN은 실제 캡션과 생성된 캡션을 구분하는 판별자와 MRG를 조건으로 캡션을 생성하는 생성자로 구성된다.
• 모델은 대응 예제 없이도 대비 학습을 통해 이미지 및 문장 표현을 정렬함으로써 종단 간(end-to-end)으로 쌍화되지 않은 설정에서 훈련된다.
• 이 프레임워크는 규칙 기반 및 학습 기반의 다수의 중심 객체 선택 전략을 지원하여 이미지의 다양한 측면에 적응적으로 집중할 수 있다.

실험 결과

연구 질문

• RQ1 쌍화된 훈련 데이터에 의존하지 않고 텍스트가 풍부한 이미지에 대해 다양한 캡션을 어떻게 생성할 수 있는가?
• RQ2 다양한 중심 객체 선택 전략이 캡션의 다양성과 품질에 어떤 영향을 미치는가?
• RQ3 다중모달 관계 그래프가 이미지-텍스트 장면에서 복잡한 내부 및 교차 모달 관계를 효과적으로 모델링할 수 있는가?
• RQ4 제안된 CGAN 아키텍처는 쌍화되지 않은 캡션 생성에서 특징 정렬과 언어적 일관성을 어떻게 향상시키는가?
• RQ5 모델은 캡션 생성 과정에서 의미 일관성을 얼마나 잘 유지하고 환영을 피하는가?

주요 결과

• MAGIC는 쌍화된 이미지-캡션 훈련 데이터를 전혀 사용하지 않아도 TextCaps 벤치마크에서 캡션 다양성과 품질 측면에서 최신 기술 수준(SOTA)의 성능을 달성한다.
• 모델은 모든 다양성 지표에서 단일 캡션 생성 기반 모델인 ISM-LSTM을 크게 앞서며, 특히 생성된 캡션 간 의미 유사도를 측정하는 SelfCider 지표에서 두드러진 성능 향상을 보인다.
• 제거 실험 결과, 규칙 기반 방법에 비해 학습 기반 중심 객체 선택 전략이 더 뛰어난 캡션 다양성과 정확도를 제공하는 것으로 나타났다.
• 프레임워크는 기존 기반 모델이 포착하지 못하는 복잡한 다중모달 관계를 정확히 모델링한 캡션을 생성한다. 예를 들어 'can-sit-next-to-bottle' 및 'bottle-of-energy-drink' 등의 관계를 올바르게 반영한다.
• 인간 평가 결과, MAGIC가 생성한 캡션은 제거된 버전(MAGIC w/o CGAN)에 비해 더 자연스럽고 정확하며 다양한 품질을 보였다.
• t-SNE 시각화 결과, 모델이 쌍화되지 않은 설정에서도 이미지 및 문장 특징 간에 잘 정렬되고 의미적으로 일관된 잠재 공간을 학습하는 것으로 확인되었다.