[논문 리뷰] No Metrics Are Perfect: Adversarial Reward Learning for Visual Storytelling

Xin Wang, Wenhu Chen외 2명|arXiv (Cornell University)|2018. 04. 24.

Multimodal Machine Learning Applications참고 문헌 34인용 수 23

한 줄 요약

이 논문은 인간의 예시로부터 보상 함수를 학습하여 더 인간다운 시각적 스토리를 생성하는 Adversarial REward Learning (AREL) 프레임워크를 제안한다. 정책 모델과 보상 모델 간의 적대적 훈련을 통해 AREL은 자동 평가 지표를 넘어서 스토리 품질을 향상시키며, 관련성, 표현력, 구체성 측면에서 인간 평가에서 뚜렷한 향상을 이룬다. 특히 터닝 테스트에서 인간 평가자들을 속이는 데 성공한다.

ABSTRACT

Though impressive results have been achieved in visual captioning, the task of generating abstract stories from photo streams is still a little-tapped problem. Different from captions, stories have more expressive language styles and contain many imaginary concepts that do not appear in the images. Thus it poses challenges to behavioral cloning algorithms. Furthermore, due to the limitations of automatic metrics on evaluating story quality, reinforcement learning methods with hand-crafted rewards also face difficulties in gaining an overall performance boost. Therefore, we propose an Adversarial REward Learning (AREL) framework to learn an implicit reward function from human demonstrations, and then optimize policy search with the learned reward function. Though automatic eval- uation indicates slight performance boost over state-of-the-art (SOTA) methods in cloning expert behaviors, human evaluation shows that our approach achieves significant improvement in generating more human-like stories than SOTA systems.

연구 동기 및 목표

• 시각적 스토리텔링 품질 평가에 있어 자동 평가 지표의 한계를 해결하기 위해.
• 스토리 생성을 위한 강화학습에서 수작업으로 만든 보상의 편향성과 희소성 문제를 극복하기 위해.
• 이미지 시퀀스에서 더 표현력 있고 일관되며 인간다운 스토리를 생성하는 방법을 개발하기 위해.
• 인간 평가가 자동 평가 지표가 포착하지 못하는 성능 향상을 드러내는 것을 입증하기 위해.
• 적대적 보상 학습이 더 풍부한 의미와 상상력을 지닌 내러티브 생성에 효과적인지를 검증하기 위해.

제안 방법

• AREL은 정책 모델(스토리를 생성함)과 인간 예시로부터 암묵적 보상을 학습하는 보상 모델 간의 적대적 훈련을 사용한다.
• 보상 모델은 인간이 작성한 스토리와 생성된 스토리를 구분하도록 GAN 유사 디스커미네이터 설정으로 훈련된다.
• 보상 학습과 분포 근사 간의 연결을 위해 볼츠만 분포를 통합하여 정책 최적화를 향상시킨다.
• 학습된 보상 함수를 사용해 정책를 최적화함으로써 인간다운 내러티브 패턴과 더 잘 일치시킨다.
• 프레임워크는 인간이 애너테이션한 스토리 시퀀스를 시각적 스토리텔링 데이터셋인 VIST에서 종합적으로 훈련한다.
• 아마존 메카니컬 터크를 통한 인간 평가에는 터닝 테스트와 쌍대 비교 평가가 포함되어 관련성, 표현력, 구체성을 평가한다.

실험 결과

연구 질문

• RQ1 적대적 보상 학습은 자동 평가 지표를 넘어서 시각적 스토리텔링 품질 향상에 기여할 수 있는가?
• RQ2 학습된 보상 함수는 인간다운 내러티브 품질을 얼마나 잘 포착하는가?
• RQ3 자동 평가 지표와 인간이 인식하는 스토리 품질 간의 상관관계는 어느 정도인가?
• RQ4 모델은 최신 기술(SOTA) 방법보다 더 표현력 있고 일관되며 구체적인 스토리를 생성할 수 있는가?
• RQ5 모델은 인간 평가자들을 속일 수 있을 정도로 인간다운 품질의 스토리를 생성하는가?

주요 결과

• 터닝 테스트에서 AREL은 인간 평가자들을 속이는 데 45.8%의 성공률을 기록했으며, XE-ss(28.3%), BLEU-RL(32.1%), CIDEr-RL(19.7%), GAN(39.5%)을 크게 앞서는 성과를 보였다.
• 쌍대 인간 평가에서 AREL은 XE-ss에 대해 관련성 5:0:0, 표현력 4:0:1, 구체성 5:0:0으로 승리하여 모든 차원에서 뚜렷한 우위를 보였다.
• METEOR와 CIDEr와 같은 자동 평가 지표에서의 향상은 미미했지만, 인간 평가 결과는 뚜렷한 성능 격차를 드러내어 평가 지표의 한계를 확인시켰다.
• 그림 7의 질적 사례에서는 AREL이 XE-ss보다 더 문법적으로 정확하고 일관되며 이미지에 정확히 부합하는 스토리를 생성하는 것으로 나타났다.
• 터닝 테스트에서 5명의 평가자 중 3명이 AREL의 스토리를 인간이 작성한 것으로 판단하여 강력한 인간다운 생성 능력을 입증했다.
• 연구는 자동 평가 지표가 시각적 스토리텔링에서 의미의 풍부함과 내러티브 품질 평가에 신뢰할 수 없다는 것을 경험적으로 확인했다.