[논문 리뷰] Visual Storytelling

Ting-Hao, Huang외 14명|arXiv (Cornell University)|2016. 04. 13.

Multimodal Machine Learning Applications인용 수 110

한 줄 요약

연속 시각-언어(SIND: Sequential Images Narrative Dataset)용 최초의 데이터셋을 도입하고, 고립된 이미지에서의 설명, 순차적으로의 설명, 그리고 이야기 수집을 통해 시각적 스토리텔링을 조사하며; 자동 평가 지표(METEOR)와 스토리텔링 특화 디코딩 휴리스틱을 갖춘 시퀀스-투-시퀀스 GRU 모델을 강력한 베이스라인으로 제시한다.

ABSTRACT

We introduce the first dataset for sequential vision-to-language, and explore how this data may be used for the task of visual storytelling. The first release of this dataset, SIND v.1, includes 81,743 unique photos in 20,211 sequences, aligned to both descriptive (caption) and story language. We establish several strong baselines for the storytelling task, and motivate an automatic metric to benchmark progress. Modelling concrete description as well as figurative and social language, as provided in this dataset and the storytelling task, has the potential to move artificial intelligence from basic understandings of typical visual scenes towards more and more human-like understanding of grounded event structure and subjective expression.

연구 동기 및 목표

• 이미지 시퀀스를 통해 인간과 유사한 이해를 목표로 내러티브를 모델링한다.
• 문자 그대로의 이미지 설명을 이야기 수준의 언어와 연결하는 데이터셋을 만든다.
• 시각적 스토리텔링의 진행을 위한 베이스라인과 자동 평가 지표를 제공한다.
• 시각적 시퀀스의 언어 생성에 있어 시간적 맥락의 영향을 탐구한다.

제안 방법

• 동일 이미지에 정렬된 세 가지 언어 계층(DII, DIS, SIS)을 가진 대규모의 연속 시각-언어 데이터세트를 구축한다.
• 두 단계 워크플로우(스토리텔링과 재전하기)로 이야기와 설명을 크라우드소싱하고 텍스트를 후처리한다(토큰화, 이름 익명화).
• 이미지 시퀀스 특징 위에 GRU 인코더를 갖춘 시퀀스-투-시퀀스 RNN을 사용하여 여러 이미지에 걸쳐 이야기를 생성하는 베이스라인을 개발한다.
• 디코딩 전략(빔 검색 vs 그리디)을 평가하고 반복을 피하고 캡션 모델로부터 시각적으로 근거를 가진 어휘를 허용하는 휴리스틱을 도입한다.
• METEOR를 자동 평가 지표로 제안하고 인간 평가에 대해 BLEU 및 Skip-Thoughts와 비교한다.
• 설명과 이야기 간 차이를 분석하기 위해 이미지별 및 시퀀스-레벨 출력을 제공한다.

실험 결과

연구 질문

• RQ1 정렬된 설명과 이야기가 포함된 연속 이미지 데이터세트가 실물 이벤트 구조와 주관적 표현의 모델링을 가능하게 할 수 있는가?
• RQ2 시계열 맥 context가 이미지 시퀀스에 대한 서술적 언어 생성과 서사적 언어 생성에 어떻게 영향을 미치는가?
• RQ3 시각적 스토리텔링에서 인간 판단과 가장 잘 상관되는 자동 지표는 무엇인가?
• RQ4 이미지 시퀀스에서 의미 있는 이야기를 생성하는 베이스라인 및 디코딩 전략은 무엇인가?

주요 결과

• 세 가지 언어 계층(DII, DIS, SIS)에서 각각 20,211개의 시퀀스에 81,743개의 고유한 사진이 포함된 대규모 데이터세트(SIND)가 공개된다.
• METEOR가 스토리텔링 평가를 위한 자동 지표 중 인간 판단과 가장 높은 상관관계를 보인다.
• 그리디 디코딩(빔 크기 1)이 빔 검색에 비해 이야기 생성의 METEOR 점수를 크게 향상시켰고, 한 설정에서 4.6 METEOR 포인트의 이득을 보고한다.
• 콘텐츠 단어의 반복 방지 및 캡션 모델로부터 시각적으로 근거를 가진 어휘를 허용하는 추가 휴리스틱이 다른 설정에서 METEOR를 1.3포인트 더 향상시킨다.
• GRU 인코더/디코더를 사용하는 기본 시퀀스-투-시퀀스 모델이 이미지 특징의 시퀀스에서 이야기를 생성할 수 있어 스토리텔링과 캡션화의 뚜렷한 차별적 과제를 보여준다.
• 데이터세트는 계층 간 언어적 변화를 보여준다: DII는 일반 용어를 사용하는 경향이 있고, DIS가 시퀀스 맥락을 더하며, SIS는 이름, 시간적 단서, 보다 역동적인 언어를 도입한다.