[논문 리뷰] Using Inter-Sentence Diverse Beam Search to Reduce Redundancy in Visual Storytelling

Chao-Chun Hsu, Szu-Min Chen외 2명|arXiv (Cornell University)|2018. 05. 30.

Multimodal Machine Learning Applications참고 문헌 8인용 수 19

한 줄 요약

이 논문은 시각적 스토리텔링에서 문장 간 어휘 재사용을 방지함으로써 중복을 줄이는 상호문장 간 다양성 있는 빔 검색을 제안한다. 이전에 생성된 문장들에 기반한 다양성 페널티를 도입함으로써 모델은 스토리의 표현력을 향상시키고, VIST 데이터셋에서 최대 METEOR 점수를 29.3%에서 31.7%로 향상시켰다.

ABSTRACT

Visual storytelling includes two important parts: coherence between the story and images as well as the story structure. For image to text neural network models, similar images in the sequence would provide close information for story generator to obtain almost identical sentence. However, repeatedly narrating same objects or events will undermine a good story structure. In this paper, we proposed an inter-sentence diverse beam search to generate a more expressive story. Comparing to some recent models of visual storytelling task, which generate story without considering the generated sentence of the previous picture, our proposed method can avoid generating identical sentence even given a sequence of similar pictures.

연구 동기 및 목표

• 유사한 이미지가 포함된 시퀀스에서 반복적인 문장 생성 문제를 해결하기 위해.
• 해당하는 디코딩 과정에서 이전에 생성된 문장을 고려하여 스토리의 다양성과 표현력을 향상시키기 위해.
• 기본 빔 검색을 초월하여 신경망 기반 이미지-텍스트 생성에서 일관성과 창의성을 향상시키기 위해.
• 내용 품질을 떨어뜨리는 반복적인 어휘 표현에 대한 의존도를 줄이기 위해, 심지어 입력 이미지가 시각적으로 유사할 경우에도.
• 작업에 특화된 재학습 없이도 유창성과 다양성의 균형을 이루는 디코딩 전략을 개발하기 위해.

제안 방법

• 이전 문장들에서 자주 나타나는 단어를 페널티 처리함으로써 빔 검색을 상호문장 간 다양성 고려에 적합하게 수정한 점수 함수를 도입하기 위해.
• 이전에 생성된 문장들의 백오프-워드 표현을 사용하여 다양성 페널티를 계산하기 위해.
• 이전 문장들에서의 토큰 빈도에 기반해 토큰을 페널티 처리하는 허밍 기반 다양성 함수 Δ를 적용하기 위해.
• 유창성과 다양성의 균형을 맞추기 위해 다양성 강도 하이퍼파라미터 λ를 도입하였으며, 실험에서는 λ = 2로 설정하였다.
• 이를 위해 ResNet-152를 이미지 인코딩에 사용하고, 양방향 GRU를 사용해 문맥 인식 가능한 이미지 시퀀스 모델링을 수행하는 기본 인코더-디코더 모델 위에 통합하기 위해.
• 훈련 안정성과 성능 향상을 위해 디코더 GRU의 입력으로 이미지 및 단어 임베딩을 연결하여 사용하기 위해.

실험 결과

연구 질문

• RQ1 디코딩 중 상호문장 간 다양성이 반복을 줄이는데 효과적인가, 동시에 유창성은 유지되는가?
• RQ2 표준 빔 검색 및 내문장 간 다양성 빔 검색과 비교해 상호문장 간 다양성 빔 검색은 중복을 얼마나 줄이는가?
• RQ3 제안된 방법은 시각적 스토리텔링에서 METEOR와 같은 자동 평가 지표를 얼마나 향상시키는가?
• RQ4 기본 모델과 비교해 본다면, 이 방법은 더 표현력 있고 인간처럼 들리는 스토리를 생성하는가?
• RQ5 스토리 생성에서 다양성과 확률의 최적 균형은 무엇이며, 이를 자동화할 수 있는가?

주요 결과

• 제안된 상호문장 간 다양성 있는 빔 검색은 VIST 데이터셋에서 최대 METEOR 점수를 29.3%에서 31.7%로 향상시켜 인간 기준 스토리와의 일치도가 향상됨을 시사한다.
• 이 방법은 유사한 이미지를 처리할 때 기존 모델에서 흔히 나타나는 반복적 어휘 표현(예: 'we had a great time'의 반복 사용)을 효과적으로 줄였다.
• 제안된 방법으로 생성된 스토리는 정성적 비교 결과(표 2 참조)에서 더 높은 어휘 다양성과 서사적 다양성을 보였다.
• λ = 2로 설정한 허밍 다양성 페널티가 다양성과 유창성의 균형을 가장 잘 맞추는 데 최적의 성능을 보였다.
• 기본 모델의 아키텍처를 변경하지 않고도 중복 문제를 성공적으로 해결하여 플러그인 방식의 디코딩 향상 전략으로서의 잠재력을 입증했다.
• 내문장 간 다양성에 초점을 맞춘 이 방법은 표준 빔 검색 및 이전의 다양성 빔 검색 변종보다 우수한 성능을 보였다.