[논문 리뷰] Style-Aware Contrastive Learning for Multi-Style Image Captioning

Yucheng Zhou, Guodong Long|arXiv (Cornell University)|2023. 01. 26.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 다중 스타일 이미지 캡션 생성을 위한 스타일 인식 대비 학습(SACO)을 제안하며, 언어적 스타일과 관련된 시각적 특징을 탐색하기 위해 대비 학습을 활용하는 스타일 인식 시각 인코더와 이미지, 스타일, 캡션 간의 일치를 보장하기 위한 스타일 인식 트리플릿 대비 손실을 도입한다. 동적 검색 기반 전략과 하드 네거티브 샘플링을 위한 트레이드오프 함수를 활용하여 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Existing multi-style image captioning methods show promising results in generating a caption with accurate visual content and desired linguistic style. However, existing methods overlook the relationship between linguistic style and visual content. To overcome this drawback, we propose style-aware contrastive learning for multi-style image captioning. First, we present a style-aware visual encoder with contrastive learning to mine potential visual content relevant to style. Moreover, we propose a style-aware triplet contrast objective to distinguish whether the image, style and caption matched. To provide positive and negative samples for contrastive learning, we present three retrieval schemes: object-based retrieval, RoI-based retrieval and triplet-based retrieval, and design a dynamic trade-off function to calculate retrieval scores. Experimental results demonstrate that our approach achieves state-of-the-art performance. In addition, we conduct an extensive analysis to verify the effectiveness of our method.

연구 동기 및 목표

• 기존의 다중 스타일 캡션 모델이 언어적 스타일과 시각적 콘텐츠 간의 관계를 간과하고 있는 격차를 보완하기 위해.
• 특정 언어적 스타일과 관련된 시각적 특징을 추출할 수 있도록 학습하여 캡션 품질을 향상시키기 위해.
• 이미지, 스타일, 캡션 간의 정확한 매칭을 보장하기 위해 삼중항 수준의 일관성을 모델링하기 위해.
• 검색 기반 전략을 활용한 효과적인 양성 및 음성 샘플 탐색을 통해 대비 학습을 향상시키기 위해.

제안 방법

• 주어진 언어적 스타일에 조건화된 시각적 표현을 대비 학습을 통해 학습하는 스타일 인식 시각 인코더를 제안한다.
• 이미지, 스타일, 캡션이 양성 트리플릿을 형성하는지 여부를 구분하기 위한 스타일 인식 트리플릿 대비 손실을 도입한다.
• 양성 및 음성 샘플을 생성하기 위해 물체 기반, RoI 기반, 트리플릿 기반의 세 가지 검색 전략을 설계한다.
• 물체 겹침, 시각적 특징 유사도, 트리플릿 특징 유사도를 균형 잡는 동적 트레이드오프 함수를 사용해 검색 점수를 계산한다.
• 빔 서치를 사용해 캡션 생성을 수행하면서, 대비 목표를 기반으로 스타일 인식 시각 표현 학습을 유도한다.
• 대비 학습을 통해 시각적 특징을 언어적 스타일과 정렬하고, 다중 스타일 캡션 생성에서의 다중 모odal 일치를 향상시킨다.

실험 결과

연구 질문

• RQ1 다중 스타일 이미지 캡션 생성에서 시각적 콘텐츠를 어떻게 효과적으로 언어적 스타일과 일치시킬 수 있는가?
• RQ2 다양한 스타일 하에서 관련 시각적 특징을 탐색하기 위해 대비 학습을 지원하는 데 가장 효과적인 검색 전략은 무엇인가?
• RQ3 검색 전략 간의 동적 트레이드오프 함수가 모델 성능에 어떤 영향을 미치는가?
• RQ4 스타일 인식 트리플릿 대비 손실이 이미지-스타일-캡션 매칭 확인 능력을 얼마나 향상시키는가?
• RQ5 제안된 방법이 기존 베이스라인 대비 더 매력적이고 맥락적으로 정확한 캡션을 생성할 수 있는가?

주요 결과

• 제안된 방법은 SentiCap, FlickrStyle10K, PERSONALITY-CAPTIONS의 세 가지 다중 스타일 이미지 캡션 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 인간 평가 결과, 62.9%의 평가자가 SACO가 생성한 캡션을 GPT-Speaker 대비 더 매력적으로 평가했다.
• 모델은 시각적 관련성(64.9% 승리 비율)과 개인화된 관련성(63.4% 승리 비율)에서 강력한 베이스라인을 초월한다.
• 제거 실험 결과, 동적 트레이드오프 함수와 트리플릿 기반 검색 전략이 성능 향상에 기여하며, ω = 0.8일 때 최적의 성능을 기록한다.
• 해석 가능한 시각화 결과, 모델이 스타일 관련 이미지 영역(행복 스타일의 경우 눈과 털, 공포 스타일의 경우 이빨과 발톱)에 주의를 기울임을 확인할 수 있다.
• 모델는 하드 네거티브에 대해 강건하며, ω = 0.8일 때 성능이 최고조에 이르고, 네거티브 샘플이 너무 어려워지면 성능이 저하됨을 보였다.