[논문 리뷰] Streamlined Dense Video Captioning

Jonghwan Mun, Linjie Yang외 3명|arXiv (Cornell University)|2019. 04. 08.

Multimodal Machine Learning Applications참고 문헌 36인용 수 7

한 줄 요약

이 논문은 먼저 순서가 지정된 이벤트 프포절 시퀀스를 탐지한 후, 강화학습으로 최적화된 캡션 생성 네트워크를 사용해 순차적으로 일관되고 맥락 인식형 캡션을 생성함으로써 이벤트 간 시간적 종속성을 모델링하는 간소화된 디퍼스 빈티오 캡션 프레임워크를 제안한다. 이 방법은 이벤트 수준 및 에피소드 수준의 보상 정보를 활용하여 일관성과 정확도를 향상시킴으로써 ActivityNet Captions 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Dense video captioning is an extremely challenging task since accurate and coherent description of events in a video requires holistic understanding of video contents as well as contextual reasoning of individual events. Most existing approaches handle this problem by first detecting event proposals from a video and then captioning on a subset of the proposals. As a result, the generated sentences are prone to be redundant or inconsistent since they fail to consider temporal dependency between events. To tackle this challenge, we propose a novel dense video captioning framework, which models temporal dependency across events in a video explicitly and leverages visual and linguistic context from prior events for coherent storytelling. This objective is achieved by 1) integrating an event sequence generation network to select a sequence of event proposals adaptively, and 2) feeding the sequence of event proposals to our sequential video captioning network, which is trained by reinforcement learning with two-level rewards at both event and episode levels for better context modeling. The proposed technique achieves outstanding performances on ActivityNet Captions dataset in most metrics.

연구 동기 및 목표

• 비디오 내 상호의존적인 다수의 이벤트에 대해 일관되고 맥락적으로 일관된 캡션을 생성하는 데 도전하는 것.
• 기존 방법들이 이벤트 캡션을 별개로 다루기 때문에 발생하는 중복성과 일관성 결여 문제를 해결하는 것.
• 적응형 이벤트 시퀀스 생성과 순차적 캡션 생성을 통해 이벤트 간 시간적 종속성을 명시적으로 모델링하는 것.
• 이전 이벤트의 시각적 및 언어적 맥락을 캡션 생성 과정에 통합함으로써 캡션 품질을 향상시키는 것.
• 이중 수준의 보상 기반 새로운 훈련 방식을 통해 ActivityNet Captions 벤치마크에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 후보 탐지 결과에서 이벤트 프로포절의 순서를 적응적으로 선택하는 이벤트 시퀀스 생성 네트워크(ESGN)를 도입하여 중복성을 감소시키고 시간적 순서를 모델링한다.
• 각 캡션을 이전 이벤트와 그 기술을 조건으로 하는 계층적 RNN 기반 순차적 캡션 네트워크(SCN)를 사용하여 맥락 일관성을 확보한다.
• 이벤트 수준의 정확도를 위한 보상과 전체 스토리의 일관성에 대한 보상이라는 이중 수준의 보상을 사용하여 강화학습 기반으로 캡션 네트워크를 훈련시킨다.
• 각 새로운 캡션 생성을 위해 사전 학습된 CNN에서 추출한 시각적 특징과 이전 캡션의 언어적 특징을 활용한다.
• 두 단계 훈련 과정을 적용한다: 지도 학습 기반 사전 훈련 후, 희소한 밀도 보상과 함께 강화학습 기반 미세조정.
• 이벤트 수준 및 에피소드 수준에서 BLEU, METEOR, CIDEr 점수를 통합한 보상 함수를 사용하여 유창성과 일관성 향상을 최적화한다.

실험 결과

연구 질문

• RQ1 이벤트 간 시간적 종속성을 모델링하면 디퍼스 빈티오 캡션의 일관성이 향상되는가?
• RQ2 이전 이벤트를 조건으로 하는 순차적 캡션 생성은 독립적 캡션보다 더 정확하고 일관성 있는 기술을 제공하는가?
• RQ3 이중 수준(이벤트 및 에피소드) 보상은 단일 수준의 감독에 비해 캡션 품질을 얼마나 향상시키는가?
• RQ4 이벤트 시퀀스 탐지와 캡션 생성을 동시에 수행하는 통합 프레임워크는 두 단계 파이프라인에 비해 더 우수한 성능을 내는가?
• RQ5 기본 벤치마크인 ActivityNet Captions에서 제안된 방법은 최신 기술 수준의 접근법과 비교해 어떻게 성과를 내는가?

주요 결과

• 제안된 방법인 SDVC는 ActivityNet Captions 테스트 스플릿에서 METEOR 점수 8.82를 기록하여 이전 최고 기술 수준의 방법들을 크게 앞서간다.
• 제거 분석 결과, 이벤트 시퀀스 생성 네트워크(ESGN)를 사용할 경우 평균 프로포절 수가 77.99에서 2.85로 감소하면서 METEOR 점수가 0.85 포인트 향상됨을 확인했다.
• 계층적 RNN 기반 순차적 캡션(ESGN-SCN)은 독립적 캡션(ESGN-Ind) 대비 METEOR 점수 0.55 포인트 향상되어 맥락 모델링의 유용성을 입증한다.
• 이벤트 수준 및 에피소드 수준의 보상을 모두 적용한 강화학습 기반 훈련(ESGN-SCN-RL)이 METEOR 점수 8.82를 기록하며 이중 보상의 효과를 확인한다.
• 정성적 분석 결과, SDVC는 '그들', '계속해서'와 같은 대명사 및 시간 연결어를 정확히 사용하여 더 일관된 캡션을 생성하는 반면, 기준 모델은 언어적 및 시간적 종속성을 제대로 추적하지 못함을 보여준다.
• 추가 모odal(예: 오디오, 옵티컬 플로우)을 사용하지 않고도 기본 시각적 특징만으로도 경쟁적인 성능을 달성하며, 이는 다른 방법들보다 뛰어난 성능을 내고 있음을 시사한다.