[논문 리뷰] What Makes A Good Story? Designing Composite Rewards for Visual Storytelling

Junjie Hu, Yu Cheng외 4명|arXiv (Cornell University)|2019. 09. 11.

Multimodal Machine Learning Applications참고 문헌 44인용 수 7

한 줄 요약

이 논문은 복합 보상 함수를 사용하여 관련성, 일관성, 표현력—세 가지 인간 중심의 품질 기준—을 최적화하는 강화학습 프레임워크인 ReCo-RL을 제안한다. 이는 자동 평가 지표와 인간 평가에서 모두 최신 기준 모델을 능가하며, BLEU나 CIDEr로만 훈련된 모델보다 더 정확하고 유창하며 다양한 스토리를 생성한다.

ABSTRACT

Previous storytelling approaches mostly focused on optimizing traditional metrics such as BLEU, ROUGE and CIDEr. In this paper, we re-examine this problem from a different angle, by looking deep into what defines a realistically-natural and topically-coherent story. To this end, we propose three assessment criteria: relevance, coherence and expressiveness, which we observe through empirical analysis could constitute a "high-quality" story to the human eye. Following this quality guideline, we propose a reinforcement learning framework, ReCo-RL, with reward functions designed to capture the essence of these quality criteria. Experiments on the Visual Storytelling Dataset (VIST) with both automatic and human evaluations demonstrate that our ReCo-RL model achieves better performance than state-of-the-art baselines on both traditional metrics and the proposed new criteria.

연구 동기 및 목표

• 사람의 관점에서 높은 품질의 스토리를 정의하는 세 가지 핵심 품질 차원—관련성, 일관성, 표현력—을 식별하고 형식화하기.
• 기존 시각적 스토리텔링 모델이 BLEU나 CIDEr와 같은 자동 평가 지표에만 최적화되어 있어 인간이 인식하는 스토리 품질을 제대로 반영하지 못하는 한계를 해결하기.
• 복합 보상 함수를 사용하여 의미적으로 관련성 있고, 일관성 있고, 표현력 있는 스토리를 생성하도록 직접적으로 유도하는 강화학습 프레임워크를 설계하기.
• 인간 중심의 품질 기준에 따라 최적화하는 것이 자동 평가 지표와 인간 평가 벤치마크 양측에서 뛰어난 성능을 내는 데 기여함을 입증하기.

제안 방법

• ReCo-RL 프레임워크는 이중 수준 아키텍처를 사용한다: 시각적 맥락과 스토리 흐름을 요약하는 목표 벡터를 생성하는 고수준 매니저와, 매니저의 목표에 기반해 문장 단위로 기술을 생성하는 저수준 워커로 구성된다.
• 관련성은 이미지에 존재하는 세밀한 시각적 개념을 언급하는 생성된 문장에 더 높은 점수를 할당하는 보상 함수로 측정된다.
• 일관성은 이전 문장을 고려해 문장의 유창성을 평가하기 위해 사전에 훈련된 언어 모델을 사용하여 평가되며, 논리적이고 문법적으로 연속적인 흐름을 장려한다.
• 표현력은 연속된 문장 간의 어휘적 겹침에 대한 보상 감소를 통해 증진되며, 반복적이거나 중복적인 표현을 방지한다.
• 복합 보상은 집계되어 REINFORCE 정책 기반 강화 알고리즘을 통해 모델을 훈련하는 데 사용된다.
• 모델은 자동 평가 지표와 인간 평가를 모두 포함하여 Visual Storytelling Dataset (VIST)에서 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 표준 자동 평가 지표 외에 인간의 관점에서 높은 품질의 스토리를 정의하는 주요 품질 차원은 무엇인가?
• RQ2 관련성, 일관성, 표현력을 명시적으로 최적화하는 강화학습 프레임워크는 BLEU나 CIDEr와 같은 표준 지표에 기반해 훈련된 모델보다 성능이 뛰어나게 되는가?
• RQ3 관련성, 일관성, 표현력을 기반으로 한 복합 보상은 강력한 기준 모델에 비해 스토리 텔링 품질을 얼마나 향상시키는가?
• RQ4 제안된 보상 구성 요소들이 개별적으로나 종합적으로 인간이 선호하는 스토리를 생성하는 데 기여하는 정도는 어떠한가?

주요 결과

• Paired t-검정에서 p < 0.05를 기준으로 ReCo-RL은 BLEU-RL, AREL, HSRL에 비해 모든 세 가지 품질 기준—관련성, 일관성, 표현력—에서 유의미하게 높은 인간 선호 점수를 확보했다.
• 모델은 BLEU-RL 대비 관련성 점수 37.10(비교군 2.47), 표현력 점수 41.71(비교군 11.06), 일관성 점수 16.99(비교군 3.32)를 기록하여 품질 기준에서 뚜렷한 향상을 보였다.
• 인간 평가 결과, ReCo-RL은 '표지판', '깃발', '식사', '음료'와 같은 더 구체적인 시각적 개념을 포함하는 반면, 기준 모델에서 흔히 볼 수 있는 반복 패턴인 '좋은 시간이었다' 또는 '거기에는 많은 사람들이 있었다' 등의 표현을 피하고 있다.
• 정성적 분석을 통해 ReCo-RL은 문장 간 주제 일致성과 의미적 연속성을 유지하며, 기준 모델에서 관찰되는 갑작스러운 주제 전환이나 연결되지 않은 내용을 피하고 있음을 확인했다.
• 모델의 복합 보상 설계는 인간 판단과의 높은 일치도를 보이며, 터커들이 제출한 쌍대 비교 투표에서 더 높은 득표를 기록함으로써 이를 입증했다.
• BLEU-RL이 BLEU 점수를 맞추기 위해 미세조정되었음에도 불구하고, ReCo-RL은 모든 인간 평가 기준에서 슈퍼어리어를 기록했으며, 자동 지표 최적화가 인간 수준의 출력 품질을 보장하지는 않음을 보여주었다.