[논문 리뷰] BAN-Cap: A Multi-Purpose English-Bangla Image Descriptions Dataset

Mohammad Faiyaz Khan, S. M. Sadiq-Ur-Rahman Shifath외 1명|arXiv (Cornell University)|2022. 05. 28.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 자연스러운 어휘와 문맥을 갖춘 고품질의 영어-타밀 이미지 캡션 데이터셋인 BAN-Cap을 소개한다. 이 데이터셋은 8,091장의 이미지와 40,455개의 쌍으로 구성되어 있으며, 전문적인 품질 관리 절차를 거친 모국어 사용자에 의해 생성되었다. 연구에서는 적응형 어텐션 기반 모델과 문맥 기반 단어 교체(CWR) 텍스트 증강 기법을 조합하여 타밀어 이미지 캡션 생성에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, 동시에 이 데이터셋이 多국어 기계 번역 작업에 응용될 수 있음을 입증하였다.

ABSTRACT

As computers have become efficient at understanding visual information and transforming it into a written representation, research interest in tasks like automatic image captioning has seen a significant leap over the last few years. While most of the research attention is given to the English language in a monolingual setting, resource-constrained languages like Bangla remain out of focus, predominantly due to a lack of standard datasets. Addressing this issue, we present a new dataset BAN-Cap following the widely used Flickr8k dataset, where we collect Bangla captions of the images provided by qualified annotators. Our dataset represents a wider variety of image caption styles annotated by trained people from different backgrounds. We present a quantitative and qualitative analysis of the dataset and the baseline evaluation of the recent models in Bangla image captioning. We investigate the effect of text augmentation and demonstrate that an adaptive attention-based model combined with text augmentation using Contextualized Word Replacement (CWR) outperforms all state-of-the-art models for Bangla image captioning. We also present this dataset's multipurpose nature, especially on machine translation for Bangla-English and English-Bangla. This dataset and all the models will be useful for further research.

연구 동기 및 목표

• 자원이 제한된 언어인 타밀어를 위한 고품질, 인간에 의한 레이블링된 이미지 캡션 데이터셋이 부족한 문제를 해결하기 위해.
• 자연어 사용자에 의한 레이블링을 거친 다양한 스타일의 영어-타밀 이미지 캡션 데이터셋을 구축하여 Flickr8k 수준의 다양성과 품질을 확보하기 위해.
• 딥 러닝 모델과 데이터 증강 기법의 효과성을 타밀어 이미지 캡션 생성에서 평가하기 위해.
• BAN-Cap 데이터셋이 이미지 캡션 생성 외에도 영어-타밀/타밀-영어 기계 번역 작업에 다용도로 활용될 수 있음을 입증하기 위해.
• 저자원, 다국어 다중모odal NLP 분야의 연구를 가속화하기 위해 공개된 벤치마크와 모델 코드를 제공하기 위해.

제안 방법

• 8,091장의 이미지에 대해 Flickr8k 데이터셋에서 타밀어 캡션을 전문적인 타밀어 및 영어 모국어 사용자들이 레이블링하였다.
• 전문 팀에 의한 후처리 및 검증 절차를 거쳐 언어적 품질, 다양성, 이미지 콘텐츠와의 관련성 등을 확보하였다.
• 변환기 기반 인코더-디코더 아키텍처를 기반으로 한 적응형 어텐션 기반 이미지 캡션 모델을 BAN-Cap 데이터셋에 맞추어 미세조정하였다.
• 문맥 기반 단어 교체(CWR)를 통한 텍스트 증강 기법을 적용하여 학습 데이터의 다양성과 모델의 일반화 능력을 향상시켰다.
• 표준 평가 지표인 BLEU, ROUGE, CIDEr를 사용하여 기준 모델의 성능을 평가하여 캡션 품질을 분석하였다.
• 영어-타밀 및 타밀-영어 기계 번역 작업에 대해 미세조정을 수행하여 데이터셋의 다국어 전이 능력을 추가로 평가하였다.

실험 결과

연구 질문

• RQ1 고품질, 인간에 의한 영어-타밀 이미지 캡션 데이터셋이 저자원 언어의 이미지 캡션 생성 성능을 향상시킬 수 있는가?
• RQ2 문맥 기반 단어 교체(CWR)가 타밀어 이미지 캡션 생성 모델의 성능 향상에 효과적인 텍스트 증강 전략인가?
• RQ3 적응형 어텐션 메커니즘이 타밀어와 같은 저자원 언어의 다중모달 캡션 생성에서 표준 어텐션보다 우월한가?
• RQ4 BAN-Cap 데이터셋이 이미지 캡션 생성 외에도 다국어 기계 번역 작업에 얼마나 널리 재사용될 수 있는가?
• RQ5 BAN-Cap의 캡션 품질과 다양성은 기존의 타밀어 이미지 캡션 데이터셋 대비 언어적 풍부성과 세부 정보 측면에서 얼마나 뛰어난가?

주요 결과

• BAN-Cap 데이터셋은 8,091장의 이미지와 40,455개의 고품질 영어-타밀 캡션 쌍을 포함하며, 전문가 검증을 거친 모국어 사용자에 의해 생성되었다.
• 캡션 스타일의 다양성이 뚜렷하여 묘사형, 행동 중심형, 관계 기반 기술 등 다양한 스타일이 포함되어 있어 모델의 일반화 능력을 향상시켰다.
• 적응형 어텐션 기반 모델과 CWR 텍스트 증강 기법을 조합한 모델이 타밀어 이미지 캡션 생성에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, 이전의 모든 모델을 능가하였다.
• CWR 증강 기법은 모델의 강인성 향상과 더불어 더 정확하고 문맥적으로 관련성이 높은 캡션 생성에 기여하였다.
• 이 데이터셋은 영어-타밀 및 타밀-영어 기계 번역 작업 모두에서 뛰어난 성능을 보였으며, 그 다용도 활용 가능성을 확인하였다.
• 저자들은 데이터셋과 코드를 공개하여 재현 가능성과 저자원, 다국어 다중모달 NLP 분야의 향후 연구를 지원하였다.