[논문 리뷰] 3M: Multi-style image caption generation using Multi-modality features under Multi-UPDOWN model

Chengxi Li, Brent Harrison|arXiv (Cornell University)|2021. 03. 20.

Multimodal Machine Learning Applications참고 문헌 20인용 수 4

한 줄 요약

이 논문은 다중 스타일 이미지 캡션 생성 모델인 3M을 제안한다. 이 모델은 Multi-UPDOWN 어텐션 아키텍처를 활용하여 ResNeXt 시각적 특징과 DenseCap가 생성한 텍스트 특징을 융합함으로써 다양한 스타일로 조절 가능한 캡션을 생성한다. 3M은 FlickrStyle10K 및 PERSONALITY-CAPTIONS 데이터셋에서 SOTA 성능을 달성하여 BLEU, CIDEr, ROUGE-L, SPICE 지표에서 이전 방법들을 능가하며, 강력한 스타일 일치성과 맥락적 관련성을 유지한다.

ABSTRACT

In this paper, we build a multi-style generative model for stylish image captioning which uses multi-modality image features, ResNeXt features and text features generated by DenseCap. We propose the 3M model, a Multi-UPDOWN caption model that encodes multi-modality features and decode them to captions. We demonstrate the effectiveness of our model on generating human-like captions by examining its performance on two datasets, the PERSONALITY-CAPTIONS dataset and the FlickrStyle10K dataset. We compare against a variety of state-of-the-art baselines on various automatic NLP metrics such as BLEU, ROUGE-L, CIDEr, SPICE, etc. A qualitative study has also been done to verify our 3M model can be used for generating different stylized captions.

연구 동기 및 목표

• 기존의 다중 스타일 이미지 캡션 생성 모델이 맥락 기반과 스타일 일관성에 어려움을 겪는 문제를 해결하기 위해.
• ResNeXt 시각적 특징과 DenseCap에서 유도된 텍스트 특징을 통합하여 통합된 캡션 생성 프레임워크를 통해 캡션 품질을 향상시키기 위해.
• 지역(영역 기반) 및 전반(이미지 수준) 시각적 특징을 스타일 조절 조건과 융합함으로써 단일 모델이 다양한 스타일로 정확한 캡션을 생성할 수 있도록 하기 위해.
• 기본 데이터셋에서의 정량적 및 정성적 분석을 통해 다중 모달 융합 및 다중 스타일 구성 요소의 효과를 평가하기 위해.
• 부적절하거나 오류가 있는 입력 특징 하에서 모델의 행동을 분석함으로써 캡션 생성 실패 원인을 밝혀내기 위해.

제안 방법

• 3M 모델은 두 개의 병렬 인코더-디코더 블록을 갖는 Multi-UPDOWN 아키텍처를 사용하며, 각 블록은 별도의 모odal(ResNeXt 특징 및 DenseCap 텍스트 특징)을 처리한다.
• 각 모달은 각각의 전용 UPDOWN 어텐션 메커니즘을 통해 디코딩 단계에서 관련된 시각적 및 텍스트 특징을 선택한다.
• 스타일 벡터는 일항 임베딩된 성격 레이블을 통해 학습된 임베딩과 선형 투영을 거쳐 유도되며, 이는 단어 임베딩과 연결되어 생성 과정을 조절한다.
• 다중 모달 특징은 디코더에서 후기 상호작용을 통해 융합되며, 이 과정에서 모델은 시각적 특징과 텍스트 특징을 동시에 어텐션하면서 스타일 벡터에 조건을 부여한다.
• 두 개의 사전 훈련된 네트워크에서 유도된 특징을 소프트 융합 방식으로 활용한다: 전반적 이미지 표현을 위한 ResNeXt와 밀도 높은 국소 캡션 특징을 위한 DenseCap.
• 훈련은 교차 엔트로피 손실을 사용한 지도 학습 방식이며, 평가에는 BLEU, ROUGE-L, CIDEr, SPICE, METEOR와 같은 표준 자연어 처리 지표를 사용한다.

실험 결과

연구 질문

• RQ1 ResNeXt와 DenseCap의 다중 모달 특징은 단일 모달 기반 모델 대비 다중 스타일 이미지 캡션의 품질과 다양성 향상에 기여하는가?
• RQ2 스타일 벡터를 통한 다중 스타일 구성 요소 통합이 특정 성격에 맞는 캡션 생성 능력을 향상시키는가?
• RQ3 지역(밀도 높은 캡션) 및 전반(ResNeXt) 특징의 융합이 캡션의 관련성과 맥락 정확성에 어떤 영향을 미치는가?
• RQ4 입력 텍스트 특징이 노이즈가 있거나 잘못되었을 경우, 모델이 스타일 일관성과 이미지 맥락을 얼마나 잘 유지하는가?
• RQ5 다양한 아키텍처 구성 요소(다중 스타일, 다중 모달, Multi-UPDOWN)가 총합 캡션 품질에 기여하는 정도는 어떠한가? (추론 실험 결과를 통해 확인)

주요 결과

• 3M 모델은 FlickrStyle10K 및 PERSONALITY-CAPTIONS 데이터셋에서 모든 NLP 지표에서 베이스라인 UPDOWN 모델을 초월하여 다중 모달 융합의 효과를 입증한다.
• FlickrStyle10K 데이터셋에서 3M는 단일 스타일 생성을 위해 설계된 SOTA 모델인 SF-LSTM보다 높은 CIDEr(26.8), ROUGE-L(50.2), SPICE(24.1) 점수를 기록한다.
• 추론 실험 결과, 다중 스타일 구성 요소를 제거할 경우 모든 지표에서 심각한 감소가 발생하여, 이 구성 요소가 스타일 제어와 캡션 다양성에 핵심적인 역할을 한다는 것을 확인한다.
• 오직 텍스트 특징만을 사용하는 모델는 고유어 수가 적고 표현력이 떨어지며, 오직 ResNeXt 특징만을 사용하는 모델는 관련성에 어려움을 겪는다. 반면 전체 모델은 ROUGE-L(50.2), CIDEr(26.8), SPICE(24.1)에서 최적의 균형을 달성한다.
• 정성적 분석 결과, 유효한 텍스트 특징이 존재할 경우 모델이 이를 효과적으로 활용함을 확인할 수 있다 (예: 그림 3의 R2-R3). 반면 오류가 있는 특징일 경우 ResNeXt 특징에 의존하여 일관성을 유지함을 확인할 수 있다 (예: 그림 3의 R1).
• 동일한 이미지에서 다양한 스타일의 캡션을 다수 생성할 수 있으며, 특징 입력과 스타일 조절 조건을 분석함으로써 오류를 식별하고 맥락화할 수 있다. 예를 들어, 완전하지 않은 캡션 또는 잘못된 어휘 표현을 인식하고 보완할 수 있다.