[논문 리뷰] Visual Storytelling via Predicting Anchor Word Embeddings in the Stories

Bowen Zhang, Hexiang Hu외 1명|arXiv (Cornell University)|2020. 01. 13.

Multimodal Machine Learning Applications참고 문헌 15인용 수 5

한 줄 요약

이 논문은 이미지 특징에서 주로 명사를 중심으로 하는 앵커 단어 임베딩을 예측하여 서사 생성을 안내하는 시각적 스토리텔링 모델인 StoryAnchor을 제안한다. seq2seq 아키텍처에서 예측된 앵커 임베딩과 이미지 특징을 함께 사용함으로써, 강화학습을 피하는 더 단순한 설계임에도 불구하고 자동 평가 지표에서 최고 성능을 기록하고 인간 평가에서도 경쟁 모델을 능가한다.

ABSTRACT

We propose a learning model for the task of visual storytelling. The main idea is to predict anchor word embeddings from the images and use the embeddings and the image features jointly to generate narrative sentences. We use the embeddings of randomly sampled nouns from the groundtruth stories as the target anchor word embeddings to learn the predictor. To narrate a sequence of images, we use the predicted anchor word embeddings and the image features as the joint input to a seq2seq model. As opposed to state-of-the-art methods, the proposed model is simple in design, easy to optimize, and attains the best results in most automatic evaluation metrics. In human evaluation, the method also outperforms competing methods.

연구 동기 및 목표

• 단순한 이미지 캡션화를 넘어서 일련의 이미지에서 일관되고 서사 중심의 스토리를 생성하는 데 도전한다.
• 스토리의 기반이 되는 핵심 의미적 요소인 '앵커 단어'(예: 스토리의 명사 등)를 식별하고 이를 활용한다.
• 암시적 앵커 단어 애너테이션 없이도 이미지에서 앵커 단어 임베딩을 예측할 수 있는 단순한 종단간 학습 모델을 개발한다.
• seq2seq 아키텍처에서 예측된 앵커 임베딩과 이미지 특징을 융합하여 서사 생성 품질을 향상시킨다.
• 강화학습 없이도 복잡한 SOTA 방법을 능가하는 더 단순한 모델 설계가 자동 평가 및 인간 평가에서 모두 최고 성능을 낼 수 있음을 입증한다.

제안 방법

• 모델는 이미지 특징과 예측된 앵커 단어 임베딩을 문장 생성을 위한 입력으로 결합하는 seq2seq 아키텍처를 사용한다.
• 지표로 사용된 스토리의 참조 명사들을 타겟으로 삼아, 이미지 특징에서 앵커 단어 임베딩을 지도학습 설정으로 예측한다.
• 고정된 단어 임베딩을 사용하는 표준 인코더-디코더 아키텍처로 종단간(end-to-end)으로 예측기 모델을 훈련시킨다.
• NLTK의 품사 태깅기로 참조 스토리에서 명사를 추출하여 앵커 단어 후보로 사용하며, 명사가 없을 경우 'UNK'를 사용한다.
• 추론 과정에서는 비드 크기 3인 비드 서치(Beam search)를 사용하여 이미지 및 앵커 임베딩 특징을 기반으로 서사 문장을 디코딩한다.
• 모델는 표준 평가 지표인 BLEU, METEOR, ROUGE, CIDER를 사용하여 VIST 데이터셋에서 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 이미지에서 앵커 단어 임베딩을 예측하는 것이 표준 seq2seq 모델에 비해 시각적 스토리텔링 성능을 향상시키는가?
• RQ2 기본 참조 스토리의 참조 명사를 앵커 단어 타겟으로 사용할 경우 더 나은 서사 생성이 가능한가?
• RQ3 강화학습 없이도 더 단순한 모델 설계가 시각적 스토리텔링에서 최고 성능을 낼 수 있는가?
• RQ4 자동 평가 지표가 인간의 선호도와 어느 정도 일치하는가?
• RQ5 기계 생성 스토리와 인간이 작성한 스토리 간의 성능 격차는 자동 지표에 반영되는가, 아니면 인간 평가에서 나타나는가?

주요 결과

• 지표로 사용된 참조 명사를 앵커로 사용할 경우, StoryAnchor 모델은 BLEU-4(14.7), METEOR(37.7), ROUGE(32.3), CIDER(16.2) 등 대부분의 자동 평가 지표에서 최고 성능을 기록한다.
• 예측된 앵커 단어 임베딩을 사용할 경우에도 강력한 성능을 기록한다: BLEU-4는 11.9, METEOR는 34.5, ROUGE는 28.9, CIDER는 10.1이다.
• 인간 평가 결과, StoryAnchor가 생성한 스토리는 AREL 모델 대비 유사성 측면에서 53.2%의 경우, 구체성에서 45.1%, 일관성에서 48.9%의 경우에서 더 선호된다.
• 인간이 작성한 스토리는 선호도 비교에서 57.8%의 평가자에게 더 선호되며, 이는 자동 지표와 인간 판단 간의 심각한 불일치를 시사한다.
• 자동 지표에서는 인간 스토리(BLEU-4: 5.6)보다 모델의 결과(BLEU-4: 11.2)가 더 높게 나타나지만, 직접 비교에서는 여전히 인간 스토리가 더 선호됨을 보여주며, 평가의 일치성에 대한 중요한 격차가 있음을 확인한다.
• AREL 및 강화학습을 사용하는 다른 SOTA 모델들을 뛰어넘는 성능을 기록함으로써, 이 작업에서 단순함이 복잡함을 능가할 수 있음을 입증한다.