[논문 리뷰] Hausa Visual Genome: A Dataset for Multi-Modal English to Hausa Machine Translation

Idris Abdulmumin, Satya Ranjan Dash외 8명|arXiv (Cornell University)|2022. 05. 02.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 영어에서 Hausa로의 기계 번역을 위한 첫 번째 대규모 다중모달 데이터셋인 Hausa Visual Genome (HaVG)를 소개한다. 이 데이터셋은 양국어로 32,923개의 이미지-캡션 쌍을 포함하며, 인도어 시각적 지능(Visual Genome)의 영어 기술서를 자동으로 Hausa어로 번역한 후, 시각적 맥락을 활용해 철저히 수정함으로써, 저자원 언어인 Hausa어를 위한 다국어 NLP 작업을 향상시킨다.

ABSTRACT

Multi-modal Machine Translation (MMT) enables the use of visual information to enhance the quality of translations. The visual information can serve as a valuable piece of context information to decrease the ambiguity of input sentences. Despite the increasing popularity of such a technique, good and sizeable datasets are scarce, limiting the full extent of their potential. Hausa, a Chadic language, is a member of the Afro-Asiatic language family. It is estimated that about 100 to 150 million people speak the language, with more than 80 million indigenous speakers. This is more than any of the other Chadic languages. Despite a large number of speakers, the Hausa language is considered low-resource in natural language processing (NLP). This is due to the absence of sufficient resources to implement most NLP tasks. While some datasets exist, they are either scarce, machine-generated, or in the religious domain. Therefore, there is a need to create training and evaluation data for implementing machine learning tasks and bridging the research gap in the language. This work presents the Hausa Visual Genome (HaVG), a dataset that contains the description of an image or a section within the image in Hausa and its equivalent in English. To prepare the dataset, we started by translating the English description of the images in the Hindi Visual Genome (HVG) into Hausa automatically. Afterward, the synthetic Hausa data was carefully post-edited considering the respective images. The dataset comprises 32,923 images and their descriptions that are divided into training, development, test, and challenge test set. The Hausa Visual Genome is the first dataset of its kind and can be used for Hausa-English machine translation, multi-modal research, and image description, among various other natural language processing and generation tasks.

연구 동기 및 목표

• Hausa어는 1억 명이 넘는 사용자를 가진 저자원 아프로아시아틱어이지만, 고품질, 다양하고 공개 가능한 NLP 자원의 부족 문제를 해결하기 위해.
• 기존 Hausa NLP 데이터셋의 한계를 극복하기 위해, 이는 종종 부족하거나 기계 생성된 자료이거나 종교 분야에 국한되어 있다.
• 영상적 맥락을 언어적 기술과 융합함으로써, Hausa어를 위한 다중모달 기계 번역 및 이미지 캡션 생성을 가능하게 하기 위해.
• Hausa-영어 번역 및 다중모달 이해를 위한 벤치마크 데이터셋을 구축함으로써, 저자원 언어 NLP 분야의 연구 격차를 메우기 위해.
• Hausa어는 서아프리카에서 높은 사회언어학적 중요성을 지닌 언어이므로, 이에 기반한 강력하고 맥락 인식 기반의 기계 번역 및 시각-언어 모델 개발을 지원하기 위해.

제안 방법

• Hindi Visual Genome (HVG) 데이터셋을 변형하여, 영어 이미지 기술서를 자동 기계 번역 시스템을 사용해 Hausa어로 번역한다.
• 해당 이미지를 맥락으로 삼아 합성 Hausa 번역어를 수동으로 수정함으로써 오류를 수정하고 언어 정확도를 향상시킨다.
• 최종 데이터셋을 네 가지 분할로 구성한다: 학습(26,338), 개발(3,293), 테스트(3,293), 챌린지 테스트(3,000) 세트.
• 특히 '법원' 대 '테니스 코트'와 같은 모호한 표현을 해결하기 위해, 번역어가 이미지 내용과 일치하는지 검증함으로써 언어적 및 시각적 일관성을 확보한다.
• 단일 레이어의 LSTM 디코더를 사용한 이미지 캡션 모델을 학습하고 평가하기 위해 데이터셋을 활용한다. 손실 함수는 교차 엔트로피이며 최적화 방법은 Adam을 사용한다.
• 캡션 품질 평가를 위해 자동 평가(BLEU)와 수동 평가를 모두 실시하며, 대상 개체, 관심 영역 또는 잘못된 내용 기준으로 출력 결과를 분류한다.

실험 결과

연구 질문

• RQ1 영어에서 Hausa어로의 이미지 기술서 자동 번역 후, 시각적 맥락을 활용한 후처리를 거치면 저자원 언어를 위한 고품질이고 맥락에 정확한 다중모달 데이터셋을 생성할 수 있는가?
• RQ2 시각적 맥락은 '법원'이나 '스토리'와 같은 모호한 영어 어휘에 대해 Hausa 번역의 정확도를 어느 정도 향상시키는가?
• RQ3 Hausa Visual Genome (HaVG) 데이터셋은 기존의 저자원 언어 벤치마크와 비교해 이미지 캡션 생성 및 다국어 기계 번역 작업을 얼마나 효과적으로 지원하는가?
• RQ4 BLEU와 같은 자동 평가 지표는 Hausa어의 이미지 캡션 성능 평가에 있어 어떤 한계를 가지며, 인간 평가 카테고리와 비교해 볼 때 어떤 차이를 보이는가?
• RQ5 HaVG는 향후 공동 작업 및 Visual Question Answering (VQA)와 같은 다른 시각-언어 작업으로의 확장에 기초 자료로 활용될 수 있는가?

주요 결과

• Hausa Visual Genome (HaVG) 데이터셋은 영어와 Hausa어로 32,923개의 이미지-캡션 쌍을 포함하며, 학습, 개발, 테스트, 챌린지 평가에 균형 잡힌 분할을 제공한다.
• 시각적 맥락을 활용한 수동 후처리가 번역 품질을 크게 향상시켰으며, '법원'(법적 의미 대 스포츠 경기장)이나 '스토리'(이야기 대 층수)와 같은 모호성을 해결했다.
• BLEU 점수를 통한 자동 평가에서 이미지 캡션 모델의 성능이 낮게 나타났으며, 이는 n-그램 일치도가 Hausa어에서 의미 정확도를 포괄하기에는 부족하다는 것을 시사한다.
• 수동 평가 결과, 생성된 캡션 중 68%가 이미지의 개체를 정확히 기술했으며, 그 중 54%는 관심 영역을 정확히 기술했다. 이는 평가 지표를 더 개선할 필요가 있음을 시사한다.
• 이 데이터셋은 Creative Commons Attribution-NonCommercial-ShareAlike 4.0 라이선스 하에 무료로 공개되어, Hausa NLP 분야의 개방형 연구 및 향후 개발을 가능하게 한다.
• 향후 작업으로는 기계 번역에 의존하지 않는 완전히 인간이 수작업한 HaVG 버전 제작과, VQA 및 공동 작업을 위한 데이터셋 확장 계획이 포함되어 있다.