[논문 리뷰] Move Forward and Tell: A Progressive Generator of Video Descriptions

Yilei Xiong, Bo Dai외 1명|arXiv (Cornell University)|2018. 07. 26.

Multimodal Machine Learning Applications참고 문헌 27인용 수 7

한 줄 요약

이 논문은 점진적 영상 설명 프레임워크인 Move Forward and Tell(MFT)을 제안한다. MFT는 순환적이고 맥락 인식적인 방식으로 시간적으로 국한된 영상 이벤트를 공동으로 선택하고 문장을 생성함으로써 일관되고 간결하며 관련성이 높은 단락 설명을 생성한다. 이중 수준(문장 및 단락) 보상과 강화학습 기반의 LSTM 네트워크를 사용하여, ActivityNet Captions에서 기존 방법을 능가하며 최신 기술 수준의 성능을 달성한다. CIDEr 점수는 14.15이며, 인간 평가에서도 일관성과 간결성 면에서 뛰어나다.

ABSTRACT

We present an efficient framework that can generate a coherent paragraph to describe a given video. Previous works on video captioning usually focus on video clips. They typically treat an entire video as a whole and generate the caption conditioned on a single embedding. On the contrary, we consider videos with rich temporal structures and aim to generate paragraph descriptions that can preserve the story flow while being coherent and concise. Towards this goal, we propose a new approach, which produces a descriptive paragraph by assembling temporally localized descriptions. Given a video, it selects a sequence of distinctive clips and generates sentences thereon in a coherent manner. Particularly, the selection of clips and the production of sentences are done jointly and progressively driven by a recurrent network -- what to describe next depends on what have been said before. Here, the recurrent network is learned via self-critical sequence training with both sentence-level and paragraph-level rewards. On the ActivityNet Captions dataset, our method demonstrated the capability of generating high-quality paragraph descriptions for videos. Compared to those by other methods, the descriptions produced by our method are often more relevant, more coherent, and more concise.

연구 동기 및 목표

• 기존 영상 설명 방법이 영상의 시간적 구조와 서사 흐름을 일치시키지 못해 반복되거나 일관성이 없는 설명을 생성하는 데서 비롯되는 한계를 해결하기 위해.
• 의미적으로 풍부하고 언어적으로 일관성 있는 단락 길이의 영상 설명을 생성하여 반복을 방지하고 서사 흐름을 유지하기 위해.
• 각 새로운 문장이 이전 내용과 시간적 맥락을 기반으로 조건화되어 단락 내 연속된 문장 간의 의존성을 모델링하기 위해.
• 다중 수준 보상(문장 및 단락)을 사용한 자기비판적 시퀀스 훈련을 통해 훈련 효율성과 성능을 향상시키기 위해.
• 종단간 또는 다중 문장 기반 기준 대비 점진적이고 이벤트 기반의 생성 전략이 더 높은 품질의 설명을 산출한다는 것을 입증하기 위해.

제안 방법

• 프레임워크는 먼저 행동 검출을 통해 후보 영상 이벤트를 탐지하여 시간적으로 국한되고 의미가 있는 세그먼트 풀을 생성한다.
• 순환적 LSTM 네트워크는 시각적 특징, 시간 범위, 이전에 생성된 설명 특징을 기반으로 다음에 기술할 이벤트를 점진적으로 선택한다.
• 이벤트 선택과 문장 생성은 이중 보상(문장 수준 BLEU 및 ROUGE, 단락 수준 CIDEr 및 자기-BLEU)을 갖는 강화학습 목표 함수를 통해 공동 최적화된다.
• 설명 생성 네트워크는 LSTM의 은닉 상태(이전 맥락을 인코딩)를 조건으로 삼으며, 선택된 이벤트의 시각적 특징에 주목하는 어텐션 메커니즘을 사용한다.
• 정책 기반 강화학습을 사용하여 훈련되며, 이는 탐색적( greedy ) 및 샘플링된 설명 시퀀스 간의 차이를 기반으로 한 정책 기반 강화학습 업데이트를 포함한다.
• 특징 융합은 시각적 특징, 시간 범위 정보, 설명 임베딩을 결합하여 이벤트 선택 정확도와 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 순차적으로 이벤트를 선택하고 문장을 생성하는 점진적이고 순환적인 프레임워크는 종단간 영상 설명보다 더 일관성 있고 간결한 단락 설명을 생성할 수 있는가?
• RQ2 다음 문장을 시간적 구조와 이전 내용 모두에 기반해 조건화함으로써 영상 설명의 서사 일관성은 어떻게 향상되는가?
• RQ3 다중 수준 보상(문장 및 단락)은 단일 수준의 감독에 비해 생성된 설명의 품질을 얼마나 향상시키는가?
• RQ4 다양한 특징 조합(시각적, 시간 범위, 설명)은 이벤트 선택 성능과 총합 설명 품질에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 자동 평가 및 인간 평가 모두에서 기존의 밀도 높은 설명 및 계층적 설명 기준보다 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 MFT 모델은 ActivityNet Captions 데이터셋에서 CIDEr 점수 14.15를 기록하여, 단순 지도 학습(12.81) 및 기타 기준보다 뚜렷이 뛰어나다.
• 이벤트 선택에 대한 전체 특징 조합(시각적 + 범위 + 설명)이 가장 높은 성능을 보였으며, CIDEr 점수 14.15를 기록했고, 이는 시각적 특징 전용(10.19) 및 부분 조합보다 뛰어나다.
• 강화학습과 이중 수준 보상은 모든 지표를 향상시켰다: CIDEr 점수는 지도 학습 시 12.81에서 14.15로 상승했고, Self-BLEU는 56.57에서 45.80으로 감소하여 반복성이 감소함을 시사한다.
• 인간 평가 결과 MFT는 가장 관련성 있고 일관성 있고 간결한 단락을 생성하며, 세 가지 기준 모두에서 60%의 사용자가 MFT를 최고의 선택으로 지목했다.
• 정성적 결과는 MFT가 Dense-Caption-NMS, Hierarchical-RNN, Semantic-Sum 등의 기준보다 반복이 적고 서사 흐름이 더 우수한 더 간결하고 일관성 있는 단락을 생성한다는 것을 보여준다.
• 이벤트 선택을 위한 S3 훈련 체계(하나의 샘플링된 음성 샘플)는 S1 및 S2를 능가하며, 훈련 시 긍정-부정 샘플링의 균형이 중요함을 강조한다.