[논문 리뷰] Unsupervised Cross-lingual Image Captioning.

Jiahui Gao, Yi Zhou외 2명|arXiv (Cornell University)|2020. 10. 03.

Multimodal Machine Learning Applications참고 문헌 38인용 수 9

한 줄 요약

이 논문은 중국어를 예시로 하여, 대상 언어에 이미지-캡션 쌍이 전혀 필요 없이 목표 언어에서 캡션을 생성하는 비지도 초국어 이미지 캡션 생성 방법을 제안한다. 이는 비지도 다국어 장면 그래프에서 문장으로의 번역 및 비지도 다모달 특징 매핑을 활용하여 이미지에서 유도된 장면 그래프를 목표 언어 문장과 정렬한다. 이는 오직 평행 문장 코퍼스만을 사용한다.

ABSTRACT

Research in image captioning has mostly focused on English because of the availability of image-caption paired datasets in this language. However, building vision-language systems only for English deprives a large part of the world population of AI technologies' benefit. On the other hand, creating image-caption paired datasets for every target language is expensive. In this work, we present a novel unsupervised cross-lingual method to generate image captions in a target language without using any image-caption corpus in the source or target languages. Our method relies on (i) a cross-lingual scene graph to sentence translation process, which learns to decode sentences in the target language from a cross-lingual encoding space of scene graphs using a sentence parallel (bitext) corpus, and (ii) an unsupervised cross-modal feature mapping which seeks to map an encoded scene graph features from image modality to language modality. We verify the effectiveness of our proposed method on the Chinese image caption generation task. The comparisons against several existing methods demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 목표 언어에 이미지-캡션 쌍 데이터가 없더라도 중국어와 같이 저자원 언어에서 이미지 캡션 생성을 가능하게 하기 위해.
• 기존의 이미지 캡션 생성 시스템이 주로 영어 전용 데이터셋에서 훈련된 데 기인한 한계를 해결하기 위해.
• 영어 외의 언어로의 전이를 위해 오직 평행 문장 코퍼스와 다국어 장면 그래프 표현만을 활용하는 제로샷 초국어 캡션 생성 방법을 개발하기 위해.
• 비지도 방식으로 시각적 장면 그래프와 목표 언어 문장 간의 모odal 갭을 메우기 위해.

제안 방법

• 비지도 다국어 장면 그래프에서 문장으로의 번역 과정을 사용하여 평행 문장(비텍스트) 코퍼스를 활용해 장면 그래프를 목표 언어 문장으로 매핑한다.
• 비지도 다모달 특징 매핑 기법을 도입하여 시각 모odal에서 추출한 장면 그래프 특징과 언어 모달에서 추출한 특징을 정렬한다.
• 모델은 공유된 다국어 장면 그래프 인코딩 공간에서 목표 언어 문장을 디코딩하도록 학습하여 저자원 언어로의 제로샷 전이를 가능하게 한다.
• 이 방법은 사전 훈련된 시각 모델을 활용해 이미지에서 장면 그래프를 추출하고, 다국어 언어 모델을 활용해 목표 언어 문장을 생성한다.
• 이 접근법은 목표 언어에 이미지-캡션 쌍이 전혀 필요 없으며, 오직 다국어 문장 정렬과 시각적 특징 매핑에 의존한다.
• 대상 언어의 시각적 장면 그래프와 해당하는 문장 표현 간의 정렬을 위해 대비 학습을 통해 종합적으로 훈련된다.

실험 결과

연구 질문

• RQ1 목표 언어에 이미지-캡션 쌍 데이터가 전혀 없더라도 이미지 캡션 생성을 저자원 언어로 효과적으로 전이할 수 있는가?
• RQ2 다국어 장면 그래프 표현이 제로샷 캡션에서 시각적 모달과 언어 모달 간의 격차를 어느 정도 메울 수 있는가?
• RQ3 비지도 다모달 특징 매핑이 저자원 환경에서 캡션 품질을 어느 정도 향상시키는가?
• RQ4 평행 문장 코퍼스만으로도 시각적 장면 그래프와 결합하여 고품질의 초국어 캡션 생성이 가능한가?

주요 결과

• 제안된 방법은 중국어 이미지 캡션 생성에서 중국어로의 이미지-캡션 쌍이 전혀 없는 조건에서도 경쟁적인 성능을 달성한다.
• 비지도 다모달 특징 매핑이 시각적 장면 그래프와 목표 언어 문장 간의 정렬을 크게 향상시킨다.
• 다국어 장면 그래프에서 문장으로의 번역 과정을 통해 목표 언어에서 유창하고 맥락적으로 관련된 캡션을 정확하게 생성할 수 있다.
• 기존의 제로샷 및 비지도 기반 베이스라인에 비해 중국어 이미지 캡션 생성에서 더 뛰어난 성능을 보이며, 저자원 환경에서의 효과성을 입증한다.