[논문 리뷰] Deep Reinforcement Learning-based Image Captioning with Embedding Reward

Zhou Ren, Xiaoyu Wang외 3명|arXiv (Cornell University)|2017. 04. 12.

Multimodal Machine Learning Applications참고 문헌 44인용 수 64

한 줄 요약

요약: 이 논문은 시각-의미 삽입 공간을 보상으로 사용하여 정책-가치 네트워크를 학습하는 액터-크리틱 강화학습을 도입하고, MS COCO에서 최첨단 이미지 자막 생성을 달성한다. 또한 디코딩 중 로컬 및 글로벌 가이던스를 결합하는 미리보기 추론을 제안한다.

ABSTRACT

Image captioning is a challenging problem owing to the complexity in understanding the image content and diverse ways of describing it in natural language. Recent advances in deep neural networks have substantially improved the performance of this task. Most state-of-the-art approaches follow an encoder-decoder framework, which generates captions using a sequential recurrent prediction model. However, in this paper, we introduce a novel decision-making framework for image captioning. We utilize a "policy network" and a "value network" to collaboratively generate captions. The policy network serves as a local guidance by providing the confidence of predicting the next word according to the current state. Additionally, the value network serves as a global and lookahead guidance by evaluating all possible extensions of the current state. In essence, it adjusts the goal of predicting the correct words towards the goal of generating captions similar to the ground truth captions. We train both networks using an actor-critic reinforcement learning model, with a novel reward defined by visual-semantic embedding. Extensive experiments and analyses on the Microsoft COCO dataset show that the proposed framework outperforms state-of-the-art approaches across different evaluation metrics.

연구 동기 및 목표

• 로컬 및 글로벌 가이던스를 가진 의사결정 프로세스로서 이미지 자막 생성을 동기 부여한다.
• 정책 네트워크와 가치 네트워크를 개발하여 공동으로 자막을 생성한다.
• 강화학습을 위한 시각-의미 삽입 공간 기반 보상을 정의한다.
• 자막-이미지 유사도를 최적화하기 위해 액터-크리틱 프레임워크를 사용하여 학습한다.

제안 방법

• 이미지 자막 생성을 이미지와 생성된 단어들로 구성된 상태의 순차적 의사결정 프로세스로 모델링한다.
• 정책 네트워크(CNN + RNN)를 사용하여 다음 단어를 예측하고, 가치 네트워크(CNN + RNN + MLP)를 사용하여 미래 보상을 평가한다.
• 보상은 생성된 자막과 이미지 간의 임베딩 유사도로 시각-의미 삽입 공간에서 정의한다.
• 정책은 교차 엔트로피로, 가치는 평균 제곱 오차로 사전 학습한 뒤, 이후에는 정책-가치 강화학습을 통해 공동으로 학습한다.
• 디코딩 도중 정책(로컬) 가이드와 가치(글로벌) 가이드를 결합하는 lookahead 추론을 도입하고, 두 가지를 균형 잡는 tunable lambda을 사용한다.

실험 결과

연구 질문

• RQ1 임베딩 기반 보상이 표준 감독 학습을 넘어 다양한 지표에서 자막 품질을 향상시키는가?
• RQ2 정책과 가치 네트워크를 함께 사용할 때 디코딩에 lookahead 추론이 미치는 영향은 무엇인가?
• RQ3 제안된 프레임워크에서 강화학습의 영향력은 대안 기법 대비 어떤가?
• RQ4 왜 가치 네트워크가 독립적인 시각 및 의미 스트림으로 구성되며 정책의 숨겨진 상태만으로 구성되지 않는가?
• RQ5 람다와 빔 크기와 같은 하이퍼파라미터에 결과가 얼마나 민감하나?

주요 결과

• 제안한 방법은 BLEU-1, BLEU-2, BLEU-3, BLEU-4, METEOR, ROUGE-L, CIDEr에서 MS COCO 최첨단 성능을 달성한다.
• 임베딩 기반의 액터-크리틱 학습은 외부 데이터 없이도 다양한 지표에서 일반화 능력을 향상시킨다.
• 정책 가이드와 가치 가이드를 결합한 lookahead 추론은 표준 빔 탐색 및 대안들에 비해 자막 품질을 크게 향상시킨다.
• 전체 모델은 대다수 지표에서 대안들보다 우수하며 CIDEr는 0.937에 도달한다.
• 하이퍼파라미터 분석에서 최적 결과는 대략 lambda = 0.4 및 중간 빔 크기에서 나타난다.
• 값-네트워크만 또는 정책-단독 구성이 전체 모델에 비해 열등하여 두 구성요소의 필요성을 강조한다.