[논문 리뷰] Towards Coherent Visual Storytelling with Ordered Image Attention

Tom Braude, Idan Schwartz외 2명|arXiv (Cornell University)|2021. 08. 04.

Multimodal Machine Learning Applications참고 문헌 43인용 수 4

한 줄 요약

이 논문은 순서 인식 표현 집합을 통해 교차 이미지 간 상호작용을 모델링함으로써 통일성 향상을 위해 순서 기반 이미지 어텐션(OIA)을 제안한다. OIA를 이미지-문장 어텐션(ISA) 및 적응형 사전과 조합함으로써 VIST에서 METEOR 점수를 1% 향상시키며, 인간 평가에서 더 뛰어난 스토리 통일성, 집중도 및 이미지 기반 성능을 입증한다.

ABSTRACT

We address the problem of visual storytelling, i.e., generating a story for a given sequence of images. While each sentence of the story should describe a corresponding image, a coherent story also needs to be consistent and relate to both future and past images. To achieve this we develop ordered image attention (OIA). OIA models interactions between the sentence-corresponding image and important regions in other images of the sequence. To highlight the important objects, a message-passing-like algorithm collects representations of those objects in an order-aware manner. To generate the story's sentences, we then highlight important image attention vectors with an Image-Sentence Attention (ISA). Further, to alleviate common linguistic mistakes like repetitiveness, we introduce an adaptive prior. The obtained results improve the METEOR score on the VIST dataset by 1%. In addition, an extensive human study verifies coherency improvements and shows that OIA and ISA generated stories are more focused, shareable, and image-grounded.

연구 동기 및 목표

• 직접 문장-이미지 정렬을 초월한 이미지 간 의존성 모델링을 통해 시각적 스토리텔링의 스토리 통일성을 향상시키기 위해.
• 적응형 사전 메커니즘을 통해 반복적인 언어 문제를 해결하기 위해.
• 순서 인식 방식으로 시퀀스 전반에 걸쳐 주목할 만한 이미지 영역에 집중함으로써 어텐션 메커니즘을 향상시키기 위해.
• 개선된 어텐션과 언어 모델링을 통해 더 이미지 기반이고 공유 가능한 스토리를 생성하기 위해.

제안 방법

• OIA는 중요 개체의 표현을 순서에 따라 수집하고 전파하는 메시지 전달 유사 알고리즘을 사용하여 시간적 순서를 유지한다.
• 이미지-문장 어텐션(ISA)은 각 문장에 대해 관련된 이미지 영역을 강조하여 현재 및 맥락적으로 관련된 이미지와의 정렬을 보장한다.
• 적응형 사전는 주어진 토큰의 빈도나 정보량에 따라 동적으로 어텐션을 조정함으로써 반복적인 언어를 줄이기 위해 도입된다.
• 모델은 OIA와 ISA를 시퀀스-투-시퀀스 생성 프레임워크에 통합하여 맥락 인식 스토리 생성을 가능하게 한다.
• 아키텍처는 VIST 데이터셋에서 자동 평가 지표와 인간 평가를 통해 통일성과 기반성에 대해 종합적으로 훈련된다.

실험 결과

연구 질문

• RQ1 교차 이미지 간 의존성 모델링이 시각적 스토리텔링의 스토리 통일성 향상에 기여하는가?
• RQ2 순서 인식 표현 집합이 생성된 스토리의 품질과 집중도에 어떤 영향을 미치는가?
• RQ3 적응형 사전가 반복적인 언어를 어느 정도 줄일 수 있는가?
• RQ4 OIA와 ISA는 표준 어텐션 메커니즘과 비교해 이미지 기반 내러티브 생성에 어떻게 우월한가?

주요 결과

• 기본 모델 대비 VIST 데이터셋에서 METEOR 점수를 1% 향상시켰다.
• 인간 평가를 통해 OIA와 ISA를 사용해 생성된 스토리는 더 통일성 있고 집중적이며 이미지 기반임을 확인했다.
• 제안된 방법으로 생성된 스토리는 기본 모델 대비 더 공유하기 쉬운 것으로 평가되었다.
• 적응형 사전는 반복적인 언어를 효과적으로 줄였으며, 더 다양한 자연스러운 내러티브를 기여했다.
• OIA는 이미지 간 장거리 의존성 모델링을 향상시켜 내러티브 일관성을 강화했다.