[논문 리뷰] Hierarchically Structured Reinforcement Learning for Topically Coherent Visual Story Generation

Qiuyuan Huang, Zhe Gan외 4명|arXiv (Cornell University)|2018. 05. 21.

Multimodal Machine Learning Applications참고 문헌 47인용 수 21

한 줄 요약

이 논문은 시각적 스토리텔링을 위한 계층적 구조 강화학습(HSRL) 모델을 제안하며, 각 이미지의 주제를 계획하는 고수준 '매니저'와 주제에 조건화된 문장을 생성하는 저수준 '워커'로 구성된 이중 레벨 디코더를 사용하여 주제 일관성 있는 스토리 생성을 향상시킨다. 이 모델은 VIST 데이터셋에서 자동 평가 및 인간 평가를 통해 평가된 결과, 평탄한 강화학습 기반 모델 대비 서사 품질과 일관성에서 뚜렷한 향상을 보였다.

ABSTRACT

We propose a hierarchically structured reinforcement learning approach to address the challenges of planning for generating coherent multi-sentence stories for the visual storytelling task. Within our framework, the task of generating a story given a sequence of images is divided across a two-level hierarchical decoder. The high-level decoder constructs a plan by generating a semantic concept (i.e., topic) for each image in sequence. The low-level decoder generates a sentence for each image using a semantic compositional network, which effectively grounds the sentence generation conditioned on the topic. The two decoders are jointly trained end-to-end using reinforcement learning. We evaluate our model on the visual storytelling (VIST) dataset. Empirical results from both automatic and human evaluations demonstrate that the proposed hierarchically structured reinforced training achieves significantly better performance compared to a strong flat deep reinforcement learning baseline.

연구 동기 및 목표

• 이미지 시퀀스에서 주제적으로 일관된 장문의 시각적 스토리를 생성하는 데 도전하는 데 목적이 있다.
• 표준 순차적-순차적 모델과 MLE 학습의 한계를 해결하기 위해 노출 편향과 서사 일관성 최적화에 악영향을 미치는 문제를 해결하고자 한다.
• 문장을 생성하기 이전에 고수준 주제를 계획하는 이중 레벨 계층적 구조를 도입하여 스토리 생성을 향상시키고자 한다.
• 작업 보상에 맞게 보다 잘 일치하기 위해, 최대우도추정(MLE)과 자기비판 강화학습(SCRL)의 혼합 손실을 사용하여 고수준 및 저수준 디코더를 함께 학습하고자 한다.
• 계층적 계획 수립이 평탄한 RL 기반 모델 대비 서사 품질을 향상시키고 반복을 줄이는 데 기여하는지 입증하고자 한다.

제안 방법

• 모델는 이중 레벨 계층적 디코더를 사용한다: 고수준 LSTM 기반 '매니저'가 이미지 시퀀스의 각 이미지에 대해 의미적 주제(보조목표)의 시퀀스를 생성한다.
• 저수준 '워커'는 이미지 특징과 매니저의 주제에 조건화된 문장을 생성하는 의미적 조합 네트워크(SCN)이다.
• 두 디코더는 BLEU 및 CIDERr와 같은 지표에서의 전역 보상 신호를 활용하여 최대우도추정(MLE)과 자기비판 강화학습(SCRL)의 조합을 통해 함께 학습된다.
• MLE 단계에서는 교사 강제 기반 학습을 활용하고, 서사 일관성 최적화를 위해 보상 구조 조정이 적용된 정책 그래เดียน트를 사용한다.
• 계층적 구조는 각 문장을 계획된 주제에 기반시켜 일관된 스토리 흐름을 유지할 수 있도록 한다.
• 프레임워크는 VIST 데이터셋에서 평가되었으며, 일관성, 관련성, 표현력 등을 평가하기 위해 자동 평가와 인간 평가를 모두 실시하였다.

실험 결과

연구 질문

• RQ1 평탄한 순차적-순차적 모델 대비 이중 레벨 계층적 강화학습 프레임워크가 시각적 스토리의 주제 일관성 향상에 기여하는가?
• RQ2 주제 계획 수립 매니저와 문장 생성 워커를 함께 학습하는 것이 반복적 또는 별도 학습보다 더 높은 서사 품질을 이끌어내는가?
• RQ3 계층적 계획 수립이 생성된 스토리의 반복을 얼마나 줄이고 다양성을 향상시키는가?
• RQ4 MLE 및 평탄한 RL 기반 모델 대비 인간 평가 지표인 관련성, 표현력, 구체성에서 모델 성능은 어떠한가?
• RQ5 모델가 전역 보상 신호를 활용하여 더 구체적이고 정서적으로 영향을 주는 스토리를 생성하는 데 성공하는가?

주요 결과

• HSRL 모델은 인간 평가에서 MLE 및 평탄한 RL 기반 모델 대비 뚜렷한 승리를 거두었으며, 관련성 평가에서 63.93%, 표현력에서 62.53%, 구체성에서 62.47%의 이변 평가에서 승리를 차지했다.
• 지식 기반 스토리와의 유사도 평가에서 HSRL은 55.87%의 표를 확보했고, RL 기반 모델은 34.53%, MLE 기반 모델은 단지 9.60%에 그쳤다. 이는 인간이 작성한 스토리와의 높은 일치도를 의미한다.
• 모델는 더 낮은 반복률과 더 풍부한 어휘 다양성을 통해 더 다양한 문장을 생성함으로써 반복을 줄였다.
• HSRL이 생성한 스토리에는 '행복한', '흥분된', '재미있는'과 같은 정서적 표현 어휘가 각각 1137회, 678회, 316회 발생했으며, RL 기반 모델 대비 분별력 있는 어휘 사용이 두드러졌다(각각 410회, 138회, 291회).
• 모델는 '조명으로 장식된'이나 '케이크를 자르다'와 같은 중요한 시각적 세부 정보를 효과적으로 포착했으며, 이는 일반 기반 모델이 자주 간과하는 요소들이다.
• 매니저와 워커의 공동 학습은 반복적 학습보다 더 높은 성능을 이끌어내었으며, 공동 학습 구조는 둘 다 참조 지도 신호와 공유된 보상 신호를 통해 최적화 과정에서 상호 이점을 얻을 수 있도록 했다.