[논문 리뷰] Joint Event Detection and Description in Continuous Video Streams

Huijuan Xu, Boyang Li외 3명|arXiv (Cornell University)|2018. 02. 28.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 연속적인 비디오 스트림에서 시간적 이벤트를 동시 검출하고 자연어 설명을 생성하는 엔드 투 엔드 딥 러닝 모델인 JEDDi-Net을 제안한다. 3D 컨볼루션 특징, 제안서에 특화된 3D SoI 풀링, 그리고 시각적 및 언어적 맥락을 통합하는 계층적 캡션 모듈을 사용함으로써, JEDDi-Net은 ActivityNet Captions에서 최신 기술 수준의 성능을 달성하고 TACoS-MultiLevel에서 처음으로 밀도 높은 캡션 결과를 보고하며, CIDEr(104.0)와 ROUGE-L(50.9)에서 뚜렷한 향상을 이룬다.

ABSTRACT

Dense video captioning is a fine-grained video understanding task that involves two sub-problems: localizing distinct events in a long video stream, and generating captions for the localized events. We propose the Joint Event Detection and Description Network (JEDDi-Net), which solves the dense video captioning task in an end-to-end fashion. Our model continuously encodes the input video stream with three-dimensional convolutional layers, proposes variable-length temporal events based on pooled features, and generates their captions. Proposal features are extracted within each proposal segment through 3D Segment-of-Interest pooling from shared video feature encoding. In order to explicitly model temporal relationships between visual events and their captions in a single video, we also propose a two-level hierarchical captioning module that keeps track of context. On the large-scale ActivityNet Captions dataset, JEDDi-Net demonstrates improved results as measured by standard metrics. We also present the first dense captioning results on the TACoS-MultiLevel dataset.

연구 동기 및 목표

• 기존의 두 단계로 나누어진 밀도 높은 비디오 캡션 모델의 한계를 해결하기 위해 이벤트 제안과 캡션 생성 네트워크를 별도로 훈련하는 방식을 개선하고자 한다.
• RNN 상태 벡터에 의존하는 대신 3D SoI 풀링을 사용하여 제안서에 특화된 특징을 추출함으로써 이벤트 검출 정확도를 향상시키고자 한다.
• 시간적으로 순서가 지정된 이벤트들 사이의 시각적 및 언어적 맥락을 모델링하여 캡션의 일관성을 향상시키고자 한다.
• 캡션 손실이 기울기 역전파를 통해 제안서 생성을 개선할 수 있도록 엔드 투 엔드 훈련을 가능하게 하고자 한다.
• 미세한 수준의 다중 문장 기반 설명을 제공하는 TACoS-MultiLevel 데이터셋에 대해 밀도 높은 비디오 캡션의 첫 번째 벤치마크를 설정하고자 한다.

제안 방법

• 전체 입력 비디오 스트림을 공유된 시공간 특징으로 인코딩하기 위해 3D 컨볼루션 네트워크를 사용한다.
• R-C3D 기반의 제안 네트워크를 활용하여 잠재적인 이벤트를 위한 가변 길이의 시간적 세그먼트를 생성한다.
• 공유된 비디오 특징에서 제안서에 특화된 특징을 추출하기 위해 3D 관심 영역(SoI) 풀링을 적용함으로써 표현 정확도를 향상시킨다.
• 이중 계층의 계층적 캡션 모듈을 구현한다: 고수준 제어기 RNN이 시각적 및 언어적 맥락을 집계하고, 저수준 RNN이 이 맥락에 조건부로 문장을 생성한다.
• 캡션 손실에서 제안 생성까지 기울기 흐름이 가능하도록 전체 네트워크를 엔드 투 엔드로 훈련시킨다.
• 표준 비디오 샘플링(5 fps)과 최대 15 토큰의 캡션 길이를 고려한 어휘 기반 토크나이제이션을 사용한다.

실험 결과

연구 질문

• RQ1 이벤트 검출과 캡션 생성을 별도로 훈련하는 것과 비교해 엔드 투 엔드 훈련이 성능 향상에 기여하는가?
• RQ2 제안서 특화 특징 추출에 3D SoI 풀링을 사용할 경우 RNN 상태 벡터에 비해 더 정확한 시각적 표현을 얻을 수 있는가?
• RQ3 계층적 캡션 모듈에 시각적 및 언어적 맥락을 통합할 경우 캡션 품질과 일관성은 어느 정도 향상되는가?
• RQ4 제안된 모델은 TACoS-MultiLevel처럼 높은 주석 밀도를 가진 데이터셋으로 일반화 가능한가?
• RQ5 TACoS-MultiLevel에서의 밀도 높은 비디오 캡션의 성능은 어떠한가? 트리밍된 비디오 캡션 기준선과 비교해 볼 때 어떻게 다른가?

주요 결과

• ActivityNet Captions 데이터셋에서 JEDDi-Net은 공동 훈련 조건에서 CIDEr 점수 99.7과 ROUGE-L 50.0을 기록하며 별도 훈련 기반 모델을 능가한다.
• 명시적인 맥락 모델링을 구현한 모델(JEDDi-Net with context)은 TACoS-MultiLevel에서 CIDEr 점수 104.0을 기록하여 별도 훈련 기반 모델(65.4)을 크게 앞서간다.
• TACoS-MultiLevel에서 모델은 Bleu-4 점수 18.1을 기록하며, IoU 오버랩을 고려할 경우 트리밍된 비디오 캡션의 상한선(27.5%)에 근접한다.
• 엔드 투 엔드 훈련을 사용할 경우 tIoU 임계값(0.5–0.95) 범위에서 제안 검출의 평균 AUC가 41.90에서 43.30으로 향상되어 더 나은 제안 품질을 나타낸다.
• 시각적 및 언어적 맥락을 모두 통합한 계층적 캡션 모듈은 비맥락 기반 버전 대비 METEOR 및 CIDER에서 각각 1.5–2.0점의 향상을 기록한다.
• 정성적 결과를 통해 JEDDi-Net은 일부 물체가 누락되어도 작은 물체 간 상호작용(예: 오렌지, 계란)에 대해 미세한 기술적 설명을 생성할 수 있음을 보여주며, 엔드 투 엔드 감독에 의해 효과적인 학습이 이루어졌음을 시사한다.