[논문 리뷰] Unpaired Image Captioning by Language Pivoting

Jiuxiang Gu, Shafiq Joty외 2명|arXiv (Cornell University)|2018. 03. 14.

Multimodal Machine Learning Applications참고 문헌 23인용 수 10

한 줄 요약

이 논문은 대상 언어(영어)에서 이미지-캡션 쌍 데이터가 필요 없이, 중국어를 피벗 언어로 활용하여 캡션 지식을 대상 언어로 전이하는 새로운 비쌍체 이미지 캡션 생성 방법을 제안한다. 적응형 단어 임베딩과 공동 최적화를 통해 이미지-피벗 캡셔너와 피벗-대상 번역기의 공동 학습을 통해 MSCOCO와 Flickr30K에서 최신 기준(SOTA) 성능을 달성하였으며, 자동 평가 및 인간 평가 지표에서 기존 방법들을 능가한다.

ABSTRACT

Image captioning is a multimodal task involving computer vision and natural language processing, where the goal is to learn a mapping from the image to its natural language description. In general, the mapping function is learned from a training set of image-caption pairs. However, for some language, large scale image-caption paired corpus might not be available. We present an approach to this unpaired image captioning problem by language pivoting. Our method can effectively capture the characteristics of an image captioner from the pivot language (Chinese) and align it to the target language (English) using another pivot-target (Chinese-English) sentence parallel corpus. We evaluate our method on two image-to-English benchmark datasets: MSCOCO and Flickr30K. Quantitative comparisons against several baseline approaches demonstrate the effectiveness of our method.

연구 동기 및 목표

• 대규모 이미지-캡션 쌍 데이터셋이 확보되지 않은 저자원 언어에서 효과적인 이미지 캡션 생성 모델을 훈련하는 데 도전한다.
• 이미지 캡션과 일반 번역 데이터 간의 오류 전파 및 도메인 불일치 문제로 인해 제한을 겪는 파이프라인 기반 번역 접근법의 한계를 극복한다.
• 소스 언어(중국어)를 피벗으로 사용하여, 대상 언어(영어)에서의 제로샷 이미지 캡션 생성을 가능하게 하되, 소스 언어의 이미지-캡션 쌍과 소스-대상 언어 간의 병렬 문장 코퍼스만을 사용한다.
• 공동 최적화 및 적응형 단어 표현을 통해 시각-피벗 캡셔너와 피벗-대상 번역기를 함께 훈련시켜 캡션 품질과 다양성을 향상시킨다.

제안 방법

• 대규모 이미지-캡션 데이터셋(AIC-ICC)을 사용해 이미지-피벗 캡셔너(이미지→중국어)를 훈련시어, 이미지 기술 패턴을 학습한다.
• 별도의 중국어-영어 병렬 문장 코퍼스(AIC-MT)를 사용해 피벗-대상 번역기(중국어→영어)를 인코더-디코더 아키텍처로 훈련시킨다.
• 번역 모델의 인코더(중국어)와 디코더(영어)에서 단어 임베딩을 적응시켜 이미지 캡션의 분포와 스타일에 맞추어, 캡션 유사 출력을 향상시킨다.
• 공동 학습 과정을 통해 이미지 캡셔너와 번역 모델을 함께 최적화하여 학습 중 구성 요소 간의 상호작용을 가능하게 한다.
• 미래 작업에서 백트랜슬레이션 유사 데이터 증강 기법을 사용해 합성 중국어-영어 병렬 데이터를 생성하여 일반화 성능을 향상시킬 계획이다.
• MSCOCO와 Flickr30K 데이터셋에 프레임워크를 적용하여, 중국어 이미지 캡션과 중국어-영어 문장 쌍만을 사용해 제로샷 영어 캡션 생성을 수행한다.

실험 결과

연구 질문

• RQ1 쌍체가 없는 훈련 데이터가 존재하는 저자원 언어(영어)에서 제로샷 이미지 캡션 생성을 가능하게 하기 위해 피벗 언어(중국어)가 이미지 캡션과 기계 번역 간 격차를 효과적으로 메울 수 있는가?
• RQ2 피벗 기반 캡션 프레임워크에서 이미지 캡션과 일반 병렬 문장 코퍼스 간의 도메인 및 스타일 불일치 문제를 어떻게 완화할 수 있는가?
• RQ3 이미지 캡셔너와 번역 모델의 공동 훈련이 파이프라인 기반 기준 대비 캡션 품질과 다양성 향상에 얼마나 기여하는가?
• RQ4 번역 모델의 인코더와 디코더에서 단어 임베딩을 이미지 캡션 분포에 맞게 적응시키면 생성된 캡션의 유창성과 관련성 향상에 기여하는가?
• RQ5 제시된 방법이 대상 언어에서 어떤 이미지-캡션 쌍 데이터도 사용하지 않고도 MSCOCO 및 Flickr30K와 같은 표준 벤치마크에서 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 MSCOCO와 Flickr30K에서 최신 기준(SOTA) 성능을 달성하였으며, BLEU, ROUGE, METEOR와 같은 자동 평가 지표에서 여러 기준 방법들을 능가한다.
• MSCOCO 5K 테스트 스플릿에서 모델은 BLEU-4 점수 74.3을 기록하였으며, 기준 파이프라인 접근법(70.1)보다 유의미하게 높고, 상한선(76.1)에 매우 가까운 성능을 보였다.
• 자기-BLEU 점수(Self-BLEU@5)가 80.2로 기준 쌍체 모델(90.7)보다 낮아 반복성이 감소한 것으로 나타나, 더 다양한 캡션을 생성하는 것으로 확인되었다.
• 1,200개 샘플에 대한 인간 평가 결과, 모델의 캡션은 관련성(3.81점)과 유사성(3.78점)에서 각각 지표 점수(4.68점 및 4.48점)에 가까운 수준을 보이며 강력한 인간 유사 품질을 입증하였다.
• 정성적 결과 분석을 통해 모델은 기존 쌍체 모델보다 더 다양한 표현과 맥락에 맞는 캡션을 생성하는 것으로 나타났다. 예를 들어, 더 일반적인 표현 "a group of baseball players" 대신 "a bunch of people in sports suits"와 같이 더 구체적인 묘사를 제공하였다.
• 공동 훈련 및 임베딩 적응 전략은 번역 모델의 출력을 캡션 스타일에 효과적으로 맞추어 도메인 이탈을 줄이고, 유창성과 관련성을 향상시켰다.