[논문 리뷰] Neural Storyboard Artist: Visualizing Stories with Coherent Image Sequences

Shizhe Chen, Bei Liu외 7명|arXiv (Cornell University)|2019. 11. 24.

Multimodal Machine Learning Applications참고 문헌 32인용 수 4

한 줄 요약

이 논문은 문맥을 고려한 밀도 높은 시각-의미 매칭 모델을 사용해 관련 영화적 이미지를 먼저 검색하고, 영역 삭제, 스타일 통합, 캐릭터 교체를 통해 이미지를 정밀하게 보정함으로써 시각적 일관성과 관련성을 확보하는 '영감을 주고 창작하는' 프레임워크를 제안한다. 이 방법은 도메인 내 및 도메인 외 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 자동 평가와 인간 평가 모두에서 뛰어난 정량적·정성적 결과를 보였다.

ABSTRACT

A storyboard is a sequence of images to illustrate a story containing multiple sentences, which has been a key process to create different story products. In this paper, we tackle a new multimedia task of automatic storyboard creation to facilitate this process and inspire human artists. Inspired by the fact that our understanding of languages is based on our past experience, we propose a novel inspire-and-create framework with a story-to-image retriever that selects relevant cinematic images for inspiration and a storyboard creator that further refines and renders images to improve the relevancy and visual consistency. The proposed retriever dynamically employs contextual information in the story with hierarchical attentions and applies dense visual-semantic matching to accurately retrieve and ground images. The creator then employs three rendering steps to increase the flexibility of retrieved images, which include erasing irrelevant regions, unifying styles of images and substituting consistent characters. We carry out extensive experiments on both in-domain and out-of-domain visual story datasets. The proposed model achieves better quantitative performance than the state-of-the-art baselines for storyboard creation. Qualitative visualizations and user studies further verify that our approach can create high-quality storyboards even for stories in the wild.

연구 동기 및 목표

• 다중 문장 스토리에서 일관되고 영화적인 스토리보드를 생성하는 과제를 해결하기 위해 높은 시각적 관련성과 일관성을 요구한다.
• 기존의 검색 기반 방법이 문맥을 忽略하고, 영향력이 없으며, 일관되지 않은 스타일이나 캐릭터를 생성하는 데서 비롯되는 한계를 극복한다.
• 고품질, 다양하고 관련성이 높은 이미지 합성을 어려워하는 생성 기반 방법을 개선한다.
• 기존의 고품질 이미지를 영감으로 활용하면서도, 영향력 있고 일관되며 현실적인 시각화를 가능하게 하는 시스템을 개발한다.
• 중국 속어와 같은 도메인 외부 또는 복잡한 스토리에 대해서도 자동으로 고품질의 스토리보드를 생성할 수 있도록 한다.

제안 방법

• 스토리 컨텍스트에 대한 계층적 어텐션을 동적으로 인코딩함으로써 문장들을 문맥에 민감하게 처리하는 컨텍스트 인식 밀도 높은 매칭(CADM) 모델 기반의 스토리-이미지 검색기 제안.
• 밀도 높은 시각-의미 매칭을 통해 단어 수준에서 이미지 영역에 대응시켜 정밀한 이미지 검색과 향후 렲시를 가능하게 한다.
• 필요에 따라 각 문장당 다수의 보완적 이미지를 검색하기 위해 탐욕적 디코딩 전략을 사용하여 장문이나 복잡한 문장의 커버리지 향상.
• 스토리보드 제작자로 세 단계의 렌더링을 구현: (1) 관련 없는 영역 분할을 통한 제거, (2) 이미지 간 시각적 외관을 통합하는 스타일 통합, (3) 일관된 캐릭터 표현을 위한 반자동 3D 캐릭터 교체.
• 시각적 검색과 이미지 보정을 통합하여 최종 스토리보드 시퀀스에서 관련성, 다양성, 일관성을 균형 있게 확보한다.
• 학습을 처음부터 시작하지 않고도 기존의 영화적 이미지 컬렉션을 활용하여 현실감과 시각적 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 문맥 모델링을 통한 검색 기반 접근 방식이 단일 문장 기반 검색에 비해 스토리보드 생성에서 이미지의 관련성과 일관성에 얼마나 기여하는가?
• RQ2 단어 수준의 기반을 가진 밀도 높은 시각-의미 매칭이 스토리 시각화를 위한 이미지 검색 정확도를 얼마나 향상시키는가?
• RQ3 이미지 보정 기법—영역 삭제, 스타일 통합, 캐릭터 교체—이 자동 생성된 스토리보드의 시각적 일관성에 얼마나 기여하는가?
• RQ4 '영감을 주고 창작하는' 프레임워크가 최소한의 감독 하에 추상적 서사나 속어와 같은 도메인 외부 스토리에 일반화될 수 있는가?
• RQ5 정량적 지표와 인간 평가 모두에서 제안된 방법이 최신 기술 수준의 생성 및 검색 기반 베이스라인과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 CADM 검색기는 도메인 내 및 도메인 외 설정 모두에서 베이스라인 검색 모델을 크게 능가하며, 중국 속어 스토리에서 인간 평가에서 14.2%p의 절대적 향상(38.4%에서 52.2%로 '좋음' 평가 비율 상승)을 기록했다.
• 영감을 주고 창작하는 프레임워크는 자동 평가 지표와 인간 평가 모두에서 최신 기술 수준의 성능을 달성하였으며, 뛰어난 시각적 일관성과 관련성을 입증했다.
• 인간 평가 결과, 77.6%의 스토리 문장이 합리적으로(좋음 또는 보통) 시각화되었으며, 다양한 스토리 유형에서 뛰어난 정성적 성능을 보였다.
• 영역 삭제, 스타일 통합, 3D 캐릭터 교체를 포함한 다단계의 렌더링 파이프라인은 시각적 일관성을 크게 향상시켰으며, 최종 결과물은 전문 스토리보드와 매우 유사한 수준에 도달했다.
• 프레임워크는 다양한 스토리 유형으로 일반화가 잘 되어 있으며, 추상적 또는 문화적으로 특수한 스토리(예: 중국 속어)에서도 높은 시각적 검색 성능를 유지했다.
• 정성적 결과는 컨텍스트 인식 검색기가 비컨텍스트 기반 베이스라인보다 복잡하거나 모호한 문장에서 더 정확하고 일관된 이미지를 선택하는 경향을 보였다.