[논문 리뷰] Induction and Reference of Entities in a Visual Story

Ruo-Ping Dong, Khyathi Raghavi Chandu외 1명|arXiv (Cornell University)|2019. 09. 15.

Multimodal Machine Learning Applications참고 문헌 27인용 수 7

한 줄 요약

이 논문은 시각적 스토리텔링을 위한 글로벌-로컬 계층적 어텐션 모델을 제안하며, 스토리 생성 중에 개체 구조체(이름이 지정된 개체와 공명어의 사슬)를 강제하여 일관성을 향상시킨다. 로컬(단어 수준)과 글로벌(문장 수준) 어텐션 모두에서 개체 구조체를 통합함으로써, 더 자연스럽고 대명사가 풍부한 서사를 생성하며, METEOR 점수에서 베이스라인을 초월하고 인간 평가자들 중 82%가 선호한다.

ABSTRACT

We are enveloped by stories of visual interpretations in our everyday lives. The way we narrate a story often comprises of two stages, which are, forming a central mind map of entities and then weaving a story around them. A contributing factor to coherence is not just basing the story on these entities but also, referring to them using appropriate terms to avoid repetition. In this paper, we address these two stages of introducing the right entities at seemingly reasonable junctures and also referring them coherently in the context of visual storytelling. The building blocks of the central mind map, also known as entity skeleton are entity chains including nominal and coreference expressions. This entity skeleton is also represented in different levels of abstractions to compose a generalized frame to weave the story. We build upon an encoder-decoder framework to penalize the model when the decoded story does not adhere to this entity skeleton. We establish a strong baseline for skeleton informed generation and then extend this to have the capability of multitasking by predicting the skeleton in addition to generating the story. Finally, we build upon this model and propose a glocal hierarchical attention model that attends to the skeleton both at the sentence (local) and the story (global) levels. We observe that our proposed models outperform the baseline in terms of automatic evaluation metric, METEOR. We perform various analysis targeted to evaluate the performance of our task of enforcing the entity skeleton such as the number and diversity of the entities generated. We also conduct human evaluation from which it is concluded that the visual stories generated by our model are preferred 82% of the times. In addition, we show that our glocal hierarchical attention model improves coherence by introducing more pronouns as required by the presence of nouns.

연구 동기 및 목표

• 인간의 서사 기획 방식을 영감으로 삼아, 시각적 스토리텔링에서 일관성 있는 개체 소개 및 참조 문제를 해결하기 위해.
• 스토리 생성 이전에 중심적인 개체 지ap(개체 구조체)를 형성하는 서사 과정을 모델링하기 위해.
• 개체가 적절한 시점에 소개되고 대명사나 공명어로 참조되도록 보장함으로써 서사의 일관성을 향상시키기 위해.
• 어텐션 메커니즘을 활용한 시퀀스-투-시퀀스 생성에 개체 구조체를 통합하는 프레임워크를 개발하기 위해.
• 스키마 기반 생성이 표준 베이스라인 대비 더 자연스럽고 인간이 선호하는 서사를 만들어내는지 평가하기 위해.

제안 방법

• 기타 NLP 도구를 사용해 이미지 캡션에서 개체 구조체를 추출하며, 표면, 명사형, 추상적 형태의 세 가지 추상 수준으로 표현한다.
• 개체 구조체를 감독 신호로 사용하지 않는 강력한 베이스라인 모델을 시각적 스토리텔링에 대해 구축한다.
• 다중 작업 학습을 통해 기존 베이스라인을 확장: 동시에 개체 구조체 예측과 스토리 생성을 수행함으로써, 구조체와의 일치를 장려한다.
• 디코딩 중에 단어 수준(로컬)과 문장 수준(글로벌)에서 모두 개체 구조체를 어텐션하는 글로벌-로컬 계층적 어텐션 메커니즘을 제안한다.
• 학습 중에 생성된 스토리가 추출된 개체 구조체에서 벗어나면 손실 함수를 통해 이를 방지하는 페널티를 적용한다.
• 어텐션 맵을 시각화하여, 특히 대명사와 공명어에 대해 모델이 문장 간 개체 사슬에 어떻게 어텐션을 기울이는지 분석한다.

실험 결과

연구 질문

• RQ1 스토리 생성 중에 개체 구조체를 강제 적용함으로써 시각적 스토리텔링의 일관성과 자연스러움을 향상시킬 수 있는가?
• RQ2 로컬 및 글로벌 수준에서 개체 구조체를 어텐션하는 글로벌-로컬 계층적 어텐션 메커니즘이 더 나은 대명사 사용과 개체 참조를 이끌어내는가?
• RQ3 스키마 기반 생성 모델의 성능은 자동 평가 및 인간 평가에서 표준 베이스라인과 어떻게 비교되는가?
• RQ4 표면, 명사형, 추상적 형태의 서로 다른 개체 구조체 표현 방식이 스토리 생성 품질에 어떤 영향을 미치는가?
• RQ5 모델는 인간이 작성한 스토리와 유사한 개체 분포(특히 명사와 대명사 빈도 측면에서)를 가진 스토리를 생성할 수 있는가?

주요 결과

• 글로벌-로컬 계층적 어텐션 모델은 베이스라인 대비 인간 선호도가 82%에 달하여 더 높은 서사 품질과 일관성을 나타낸다.
• 모델는 약 3 METEOR 포인트 향상되어 자동 평가 점수에서 베이스라인을 능가함을 입증했다.
• 글로벌-로컬 모델은 특히 대명사의 분포가 인간이 작성한 스토리와 유사하여 보다 우수한 공명어 처리 능력을 보였다.
• 다중 연결된 개체 사슬을 가진 더 일관성 있는 서사를 생성하였으며, 이를 통해 문장 간 공명어 어휘에 대해 높은 어텐션 무게를 기록하였다.
• 개체 구조체 표현 방식은 모델이 적절한 순간에 개체를 소개하고 참조하는 능력을 크게 향상시켜 중복과 반복을 줄였다.
• 인간 평가 결과, 반복된 명사를 대체해 대명사를 사용함으로써 더 몰입감 있고 매력적인 서사를 만들어내는 데 기여함을 확인하였으며, 이는 모델 설계의 타당성을 뒷받침한다.