[논문 리뷰] STAIR Captions: Constructing a Large-Scale Japanese Image Caption Dataset

Yuya Yoshikawa, Yutaro Shigeto외 1명|arXiv (Cornell University)|2017. 05. 02.

Multimodal Machine Learning Applications참고 문헌 13인용 수 21

한 줄 요약

이 논문은 MS-COCO에서 유래한 164,062장의 이미지에 대해 총 820,310개의 문장으로 구성된 대규모 일본어 이미지 캡션 데이터셋인 STAIR Captions를 소개한다. 일본어 캡션으로 직접 훈련된 신경망 이미지 캡션 모델은 영어-일본어 번역 파이프라인을 초월하여 더 자연스럽고 정확한 캡션을 생성했으며, 저자원 언어인 일본어에서 고품질 생성을 위해 언어별 훈련 데이터가 필수적임을 입증한다.

ABSTRACT

In recent years, automatic generation of image descriptions (captions), that is, image captioning, has attracted a great deal of attention. In this paper, we particularly consider generating Japanese captions for images. Since most available caption datasets have been constructed for English language, there are few datasets for Japanese. To tackle this problem, we construct a large-scale Japanese image caption dataset based on images from MS-COCO, which is called STAIR Captions. STAIR Captions consists of 820,310 Japanese captions for 164,062 images. In the experiment, we show that a neural network trained using STAIR Captions can generate more natural and better Japanese captions, compared to those generated using English-Japanese machine translation after generating English captions.

연구 동기 및 목표

• 신경망 캡션 생성 모델 훈련을 위한 대규모 고품질 일본어 이미지 캡션 데이터셋의 부족 문제를 해결하기 위해.
• 영어 캡션 생성 후 기계 번역을 거치는 방식을 넘어서 일본어 캡션 생성 품질을 향상시키기 위해.
• 직접 일본어 캡션으로 훈련하는 것이 번역 기반 접근법보다 더 자연스럽고 정확한 캡션을 생성함을 입증하기 위해.
• 일본어 이미지 캡션 연구를 위한 공개 가능하고 대규모 기준 데이터셋을 제공하기 위해.

제안 방법

• MS-COCO 2014 데이터셋의 모든 164,062장의 이미지에 대해 각각 5개의 일본어 캡션을 수집하여 STAIR Captions를 구축하였으며, 공개 배포 시 테스트 세트의 캡션은 제외하였다.
• 품질과 일관성을 확보하기 위해 일시직 및 커뮤니티 기반의 웹 기반 애너테이션 시스템을 활용하였다.
• 엄격한 애너테이션 가이드라인 적용: 최소 15자 이상, da/dearu 어순, 단일 문장, 사실 기반 서술만 허용, 의견이나 감정 포함 금지.
• 모델 훈련 중 일본어 캡션의 사전 처리를 위해 형태소 분석기(MeCab)를 사용하였다.
• 고정된 CNN 가중치와 최적화된 LSTM 파rameter를 사용하여, VGG-16을 캡션 생성을 위한 CNN 특징 추출기로 사용한 순서-순서 모델을 훈련시켰다.
• 두 가지 방법을 비교: (1) En-generator → MT (영어 캡션 생성 + Google Translate), (2) Ja-generator (STAIR Captions로 직접 훈련), 양자 모두 Karpathy와 Fei-Fei의 아키텍처를 사용하였다.

실험 결과

연구 질문

• RQ1 직접 일본어 캡션으로 훈련된 신경망 이미지 캡션 모델이 영어 캡션 생성 후 번역 파이프라인을 거치는 방식보다 더 자연스럽고 정확한 캡션을 생성할 수 있는가?
• RQ2 STAIR Captions로 훈련된 일본어 캡션 모델의 성능은 번역 기반 기준 모델과 비교해 어떻게 수치적으로 평가되는가?
• RQ3 직접 일본어로 훈련된 방식과 영어-일본어 번역을 통한 방식 간에 생성된 캡션에 어떤 정성적 차이가 있는가?
• RQ4 저자원 언어인 일본어에서 대규모 언어별 데이터셋이 캡션 생성 품질 향상에 얼마나 기여하는가?

주요 결과

• STAIR Captions로 직접 훈련된 Ja-generator 모델은 En-generator → MT 기준 모델(0.324)에 비해 유의미하게 높은 CIDEr 점수(0.833)를 기록하여 캡션 품질이 뛰어남을 확인하였다.
• Ja-generator 모델은 모든 평가 지표에서 기준 모델을 초월했다: BLEU-1(0.763 vs. 0.565), BLEU-2(0.614 vs. 0.330), BLEU-3(0.492 vs. 0.204), BLEU-4(0.385 vs. 0.127), ROUGE-L(0.553 vs. 0.449).
• 정성적 분석 결과, Ja-generator는 더 자연스럽고 맥락에 부합하는 캡션을 생성했으며, 예를 들어 'food'를 그대로 '食べ物の塊'로 번역하는 대신 'ドーナツ'를 정확히 식별하는 등 더 정확한 표현을 보였다.
• STAIR Captions로 훈련된 모델은 '二階建てのバス'처럼 자연스러운 일본어 관용어를 생성한 반면, 번역 파이프라인은 '二重デッカーバス'처럼 어색한 단어 그대로 번역을 생성하였다.
• 결과적으로, 저자원 언어에서 유창하고 정확한 캡션 생성을 위해서는 언어별 고품질 캡션 데이터로 직접 훈련하는 것이 필수적임을 확인하였다.
• STAIR Captions는 현재까지 공개된 가장 대규모의 일본어 이미지 캡션 데이터셋으로, 164,062장의 이미지에 대해 총 820,310개의 캡션을 포함하며, YJ Captions와 같은 기존 데이터셋을 초월해 규모가 6배 이상 크다.