[논문 리뷰] GLAC Net: GLocal Attention Cascading Networks for Multi-image Cued Story Generation

Taehyeong Kim, Min-Oh Heo외 3명|arXiv (Cornell University)|2018. 05. 28.

Multimodal Machine Learning Applications참고 문헌 31인용 수 53

한 줄 요약

GLAC Net은 두 수준의 글로컬 주의와 맥락 계단화를 도입하여 다중 이미지로 구성된 이야기를 일관되게 생성하고, heavy beam search 없이 VIST에서 METEOR 점수 경쟁력을 달성합니다.

ABSTRACT

The task of multi-image cued story generation, such as visual storytelling dataset (VIST) challenge, is to compose multiple coherent sentences from a given sequence of images. The main difficulty is how to generate image-specific sentences within the context of overall images. Here we propose a deep learning network model, GLAC Net, that generates visual stories by combining global-local (glocal) attention and context cascading mechanisms. The model incorporates two levels of attention, i.e., overall encoding level and image feature level, to construct image-dependent sentences. While standard attention configuration needs a large number of parameters, the GLAC Net implements them in a very simple way via hard connections from the outputs of encoders or image features onto the sentence generators. The coherency of the generated story is further improved by conveying (cascading) the information of the previous sentence to the next sentence serially. We evaluate the performance of the GLAC Net on the visual storytelling dataset (VIST) and achieve very competitive results compared to the state-of-the-art techniques. Our code and pre-trained models are available here.

연구 동기 및 목표

• 다중 이미지로 구성된 자극 기반 이야기가 필요하고 이미지에 특화되면서도 맥락상 일관된 문장이 필요하다는 점을 강조하는 작업의 동기를 제시한다.
• 각 문장을 전체 시퀀스 맥락과 이미지별 특징 모두에 기반하도록 두 수준(글로벌 및 로컬) 주의가 있는 GLAC Net을 제안한다.
• 한 문장에서 다음 문장으로 문장 수준 맥락을 전달하는 계단화 메커니즘을 도입하여 이야기의 일관성을 개선한다.
• VIST 데이터셋에서 경쟁력 있는 성능을 달성하고 재현성을 위한 코드와 사전 학습 모델을 제공한다.

제안 방법

• 각 이미지에 대해 ResNet-152로 이미지 특징을 추출한다.
• 글로벌 맥락을 포착하기 위해 양방향 LSTM으로 이미지 순서를 인코딩한다.
• 이미지별 특징과 bi-LSTM 출력의 수직 결합으로 글로컬 벡터를 계산한다(하드 어텐션).
• 글로컬 벡터를 디코더에 입력하여 각 이미지에 대한 문장을 생성한다.
• 이전 문장의 마지막 은닉 상태로 각 문장 생성기를 초기화하여 계단화 메커니즘을 적용한다.
• 단어 중복을 줄이고 다양성을 높이기 위한 샘플링/개수 기반 후처리 전략을 사용한다.

실험 결과

연구 질문

• RQ1 두 수준의 주의 메커니즘(전역 맥락 및 이미지별 특징)이 이미지로 자극된 이야기 생성을 향상시킬 수 있는가?
• RQ2 시퀀스 전반에 걸친 문장 수준 맥락의 계단화가 생성된 이야기의 전반적 일관성을 높이는가?
• RQ3 전역/로컬 주의, 계단화 및 후처리 구성요소가 VIST 데이터셋에서 표준 지표(예: METEOR, perplexity)에 미치는 영향은 무엇인가?

주요 결과

• GLAC Net은 빔 탐색 없이도 VIST 데이터셋에서 베이스라인과 경쟁합니다.
• 연구 개요에서 계단화, 글로벌 주의, 로컬 주의 및 후처리의 기여를 제거 실험을 통해 확인합니다.
• 완전한 GLAC Net은 테스트된 구성들 중 METEOR 유사 성능에서 최상위를 달성합니다(METEOR ~0.3014, 보고된 구성).
• 중복 감소를 위한 휴리스틱( Count )은 METEOR를 개선하고 반복을 감소시킵니다.
• LSTM Seq2Seq 베이스라인에 비해 GLAC Net은 평가 설정 전반에서 일반적으로 더 나은 성능을 보입니다.