[논문 리뷰] End-to-End Video Captioning with Multitask Reinforcement Learning

Lijun Li, Boqing Gong|arXiv (Cornell University)|2018. 03. 21.

Multimodal Machine Learning Applications참고 문헌 56인용 수 6

한 줄 요약

이 논문은 끝에서 끝까지 영상 번역을 위한 다중 작업 강화 학습 방법을 제안한다. 이 방법은 캡션 생성, 특성 예측, 강화 학습 기반 보상 최적화를 공동으로 최적화하여 원시 영상에서 자연어 캡션으로의 단일 모델 훈련을 가능하게 한다. 효과적인 감독 샘플링과 점진적 훈련을 통해 MSVD 및 MSR-VTT에서 최신 기준 성능을 달성하며, 기존 모델보다 유의미한 성능 향상을 이룬다.

ABSTRACT

Although end-to-end (E2E) learning has led to impressive progress on a variety of visual understanding tasks, it is often impeded by hardware constraints (e.g., GPU memory) and is prone to overfitting. When it comes to video captioning, one of the most challenging benchmark tasks in computer vision, those limitations of E2E learning are especially amplified by the fact that both the input videos and output captions are lengthy sequences. Indeed, state-of-the-art methods for video captioning process video frames by convolutional neural networks and generate captions by unrolling recurrent neural networks. If we connect them in an E2E manner, the resulting model is both memory-consuming and data-hungry, making it extremely hard to train. In this paper, we propose a multitask reinforcement learning approach to training an E2E video captioning model. The main idea is to mine and construct as many effective tasks (e.g., attributes, rewards, and the captions) as possible from the human captioned videos such that they can jointly regulate the search space of the E2E neural network, from which an E2E video captioning model can be found and generalized to the testing phase. To the best of our knowledge, this is the first video captioning model that is trained end-to-end from the raw video input to the caption output. Experimental results show that such a model outperforms existing ones to a large margin on two benchmark video captioning datasets.

연구 동기 및 목표

• 긴 입력 및 출력 시퀀스로 인한 높은 메모리 소비와 과적합 문제를 포함한 끝에서 끝까지의 영상 번역 모델 훈련의 과제를 해결하기 위해.
• 노출 불일치와 데이터 부족으로 인해 일반화 능력이 떨어지는 기존의 교차 엔트로피 훈련의 한계를 극복하기 위해.
• 보조 작업인 특성 예측과 강화 학습을 활용하여 깊은 인코더-디코더 네트워크의 훈련을 효과적으로 감독할 수 있는 통합 프레임워크를 개발하기 위해.
• 하드웨어 및 데이터 제약 조건 하에서도 다중 작업 학습과 점진적 훈련을 결합한 끝에서 끝까지의 훈련이 가능하고, 그 성능이 뛰어나다는 것을 입증하기 위해.

제안 방법

• 모델은 영상 프레임 인코딩을 위한 CNN 기반 아키텍처와 캡션 생성을 위한 LSTM 디코더를 포함하는 통합형 엔드 투 엔드 아키텍처를 사용한다.
• 인간이 애너테이션한 캡션에서 시각적 및 언어적 특성(예: 객체, 동작, 특성 등)을 추출하여 보조 특성 예측 작업을 도입함으로써 추가적인 감독을 제공한다.
• 강화 학습 구성 요소는 몬테 카를로 롤아웃을 사용한 REINFORCE 알고리즘을 활용하여 BLEU 및 ROUGE 보상 기반으로 캡션 생성 정책을 최적화함으로써 노출 편향을 감소시킨다.
• 훈련은 점진적 파이프라인으로 진행되며, 먼저 교차 엔트로피를 사용해 CNN을 사전 훈련하고, 다음으로 REINFORCE를 통해 미세 조정한 후, 마지막으로 다중 작업 학습을 통해 모든 구성 요소를 공동 최적화한다.
• 특성 예측($L_a$), 캡션 생성($L_x$), 강화 학습($L_r$)의 손실를 볼록 조합으로 조합하여 훈련 안정성을 높인다.
• 모든 보조 작업의 기울기가 CNN 및 LSTM 구성 요소로 되돌아가도록 백프로파게이션을 사용해 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 사용 가능한 인간 애너테이션 캡션만으로 하드웨어 및 데이터 제약 조건 하에서도 끝에서 끝까지의 영상 번역을 효과적으로 훈련시킬 수 있는가?
• RQ2 특성 예측과 강화 학습을 포함한 다중 작업 학습이 끝에서 끝까지의 영상 번역에서 일반화 능력 향상과 과적합 감소에 기여하는가?
• RQ3 REINFORCE와 같은 정책 기반 강화 학습 방법은 자동 회귀 디코딩에서 내재된 노출 편향을 완화할 수 있는가?
• RQ4 사전 훈련을 통한 지도 학습에서 시작하여 강화 학습으로 전환하는 점진적 훈련 전략이 최종 성능에 어떤 영향을 미치는가?
• RQ5 외부 데이터셋이나 사전 훈련된 이미지 특징에 의존하지 않고도 최신 기준 성능을 달성할 수 있는가?

주요 결과

• 제안된 다중 작업 강화 학습 방법은 MSVD 및 MSR-VTT 데이터셋에서 모두 최신 기준 성능을 달성하며, 기존 모델보다 크게 뛰어난 성능을 보였다.
• 제거 실험 결과, 특성 예측 브랜치를 제거하거나 REINFORCE 단계를 건너뛸 경우 성능이 유의미하게 저하됨을 확인하여, 이 두 요소의 필수성을 입증했다.
• REINFORCE 알고리즘에서 다중 롤아웃을 사용할 경우 표준 REINFORCE 대비 성능이 1%에서 2% 향상되었으며, 궤적 샘플링의 유용성을 시사한다.
• 직접 교차 엔트로피 손실을 사용한 엔드 투 엔드 훈련은 일반화가 불량하여 S2VT 베이스라인보다 성능이 열 劣함을 보이며, 제안된 점진적 훈련 전략의 필요성을 강조한다.
• qualitative 예시를 통해 S2VT 베이스라인 대비 더 정확하고 문법적으로 올바르며 내용에 충실한 캡션을 생성함을 확인했다.
• ImageNet 사전 훈련 대신 영상 번역에 특화된 특징으로 CNN을 미세 조정함으로써 성능 향상이著명하게 향상되었으며, 이는 작업에 특화된 표현 학습의 가치를 입증한다.