[논문 리뷰] "My Way of Telling a Story": Persona based Grounded Story Generation

Shrimai Prabhumoye, Khyathi Raghavi Chandu외 2명|arXiv (Cornell University)|2019. 06. 14.

Multimodal Machine Learning Applications참고 문헌 40인용 수 8

한 줄 요약

이 논문은 대화 데이터셋에서 추출한 성격 특성들을 시각적 스토리텔링에 전이하여, 점진적인 인코더-디코더 수정을 통해 서사 스타일을 유도하는 성격 기반의 지문 기반 스토리 생성 프레임워크를 제안한다. LEPC 모델은 성격 분류 정확도를 향상시키면서도 높은 ROUGE 점수를 유지하여, 이미지 기반 스토리 생성에서 효과적인 성격 통합을 보여준다.

ABSTRACT

Visual storytelling is the task of generating stories based on a sequence of images. Inspired by the recent works in neural generation focusing on controlling the form of text, this paper explores the idea of generating these stories in different personas. However, one of the main challenges of performing this task is the lack of a dataset of visual stories in different personas. Having said that, there are independent datasets for both visual storytelling and annotated sentences for various persona. In this paper we describe an approach to overcome this by getting labelled persona data from a different task and leveraging those annotations to perform persona based story generation. We inspect various ways of incorporating personality in both the encoder and the decoder representations to steer the generation in the target direction. To this end, we propose five models which are incremental extensions to the baseline model to perform the task at hand. In our experiments we use five different personas to guide the generation process. We find that the models based on our hypotheses perform better at capturing words while generating stories in the target persona.

연구 동기 및 목표

• 대규모 성격 애너테이션된 스토리 데이터셋이 부족한 상황에서도 다양한 성격으로 시각적 스토리를 생성하는 것.
• 대화 기반 성격 데이터셋에서의 성격 애너테이션을 시각적 스토리텔링 작업으로 전이하는 것.
• 성격을 인코더 및 디코더 표현에 통합하는 데 초점을 맞춘 점진적 신경망 모델 확장 기법을 개발하고 평가하는 것.
• 성격 통합 모델이 목표 성격 특성을 반영하면서도 논리적 일관성과 내용 정확성을 유지하는지 평가하는 것.
• 자동 및 정성적 평가 지표를 활용한 성격 조건부 시각적 스토리텔링을 위한 기준 평가 프로토콜 수립

제안 방법

• 기본 모델로 Kim 등(2018)의 사전 훈련된 시각적 스토리 생성 모델을 활용한다.
• 피처 토닝을 통해 대화 데이터셋(e.g., personachat)에서 유도한 성격 임베딩을 시각적 스토리텔링 작업으로 전이한다.
• 다섯 가지 점진적 모델 변형(MPP, LEPC, LEPD, SEPC, SEPD)을 제안하며, 각각 인코더 및 디코더의 다양한 계층(단어, 컨텍스트, 또는 둘 다)에 성격을 통합한다.
• 이미지 피처와 성격 임베딩의 후기 융합을 통해 스토리 생성을 유도한다.
• 생성된 스토리가 목표 성격 클러스터와 일치하는지 평가하기 위해 성격 분류 헤드를 적용한다.
• 기준 스토리와의 내용 및 구조 유사도 평가를 위해 ROUGE-L을 사용한다.

실험 결과

연구 질문

• RQ1 대화 데이터셋에서 유도한 성격 임베딩이 기반된 이미지 기반 설정에서 시각적 스토리 생성을 효과적으로 유도할 수 있는가?
• RQ2 어느 구조적 수정 방식(예: 단어 수준 대비 컨텍스트 수준에 성격을 통합하는 방식)이 생성된 스토리에서 목표 성격 특성을 가장 잘 유지하는가?
• RQ3 다양한 성격 통합 전략이 성격 분류 정확도와 ROUGE 점수에 어떤 영향을 미치는가?
• RQ4 모델이 문장당 최소 한 개의 성격 관련 단어를 생성할 수 있는 정도는 어느 정도이며, 이 과정에서 스토리의 일관성이 떨어지지 않는가?
• RQ5 성격 충실도와 자동 생성 품질 사이에 트레이드오프가 존재하는가, 그리고 이를 완화할 수 있는가?

주요 결과

• LEPC 모델은 대부분의 다섯 개 성격 클러스터에서 가장 높은 성격 분류 정확도를 기록하면서도 경쟁적인 ROUGE-L 점수를 유지한다.
• 제안된 모든 모델(MPP, LEPC, LEPD, SEPC, SEPD)은 정성적 분석을 통해 문장당 최소 한 개의 목표 성격에 부합하는 단어를 성공적으로 생성한다.
• 단어 수준에만 성격을 통합하는 SEPC 및 SEPD 모델는 ROUGE 및 분류 성능 모두에서 열악한 성능을 보이며, 고립된 단어 수준의 통합 방식의 한계를 드러낸다.
• glocal 기본 모델은 성격 특화된 어휘를 포착하지 못하지만, 성격 통합 모델은 관련 문장에서 'excited'(흥분한), 'happy'(기쁜), 'surprised'(놀란) 등의 정서적으로 일관된 어휘를 생성한다.
• 정성적 분석 결과, LEPC 및 LEPD 모델은 SEPC 및 SEPD 모델보다 톤과 정서 일관성을 더 잘 유지하는 것으로 확인되었으며, 후자 모델은 언어적 유창성을 상실하는 경향이 있었다.
• 본 연구는 성격 충실도 최적화와 ROUGE 점수 간의 트레이드오프를 드러내었으며, 단어 임베딩를 제거하는 것은 언어 모델의 사전 지식을 해칠 수 있음을 시사한다.