[논문 리뷰] Jointly Localizing and Describing Events for Dense Video Captioning

Yehao Li, Ting Yao외 3명|arXiv (Cornell University)|2018. 04. 23.

Multimodal Machine Learning Applications참고 문헌 38인용 수 38

한 줄 요약

이 논문은 새로운 기술적 특성 회귀 구성 요소를 사용하여 시간적 이벤트 국소화와 문장 생성을 동시에 최적화하는 통합형 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 언어 기반 피드백을 탐지 과정에 통합하고 속성 증강 캡션 아키텍처를 활용함으로써, 이 방법은 ActivityNet Captions 테스트 세트에서 12.96%의 METEOR 점수를 기록하며 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

Automatically describing a video with natural language is regarded as a fundamental challenge in computer vision. The problem nevertheless is not trivial especially when a video contains multiple events to be worthy of mention, which often happens in real videos. A valid question is how to temporally localize and then describe events, which is known as "dense video captioning." In this paper, we present a novel framework for dense video captioning that unifies the localization of temporal event proposals and sentence generation of each proposal, by jointly training them in an end-to-end manner. To combine these two worlds, we integrate a new design, namely descriptiveness regression, into a single shot detection structure to infer the descriptive complexity of each detected proposal via sentence generation. This in turn adjusts the temporal locations of each event proposal. Our model differs from existing dense video captioning methods since we propose a joint and global optimization of detection and captioning, and the framework uniquely capitalizes on an attribute-augmented video captioning architecture. Extensive experiments are conducted on ActivityNet Captions dataset and our framework shows clear improvements when compared to the state-of-the-art techniques. More remarkably, we obtain a new record: METEOR of 12.96% on ActivityNet Captions official test set.

연구 동기 및 목표

• 긴 영상 내에서 다수의 이벤트에 대해 정확한 시간적 국소화와 기술적인 문장 생성이 요구되는 다수의 이벤트 캡션화 문제를 해결하기 위해.
• 국소화와 캡션 생성을 분리하는 두 단계적 접근 방식의 한계를 극복하여 최적의 성능을 달성하기 위해.
• 언어 이해가 통합 최적화 프레임워크 내에서 시간적 이벤트 제안을 어떻게 이끌고 개선할 수 있는지 탐색하기 위해.
• 이벤트 탐지와 문장 생성 간의 상호작용을 엔드 투 엔드 방식으로 모델링하는 통합 아키텍처를 개발하기 위해.

제안 방법

• 각 이벤트 제안의 언어적 복잡도를 추정하는 기술적 특성 회귀 구성 요소를 도입하여 시간적 국소화를 안내한다.
• 단일 스풍경 탐지 프레임워크 내에서 이벤트/배경 분류 및 시간 좌표 회귀와 함께 기술적 특성 회귀를 통합하여 공동 학습을 수행한다.
• 기술적 특성 점수를 주어진 제안 내 클립 수준 특징에 대한 어텐션 메커니즘으로 사용하여 제안 수준의 표현을 개선한다.
• 개선된 어텐션 가중치를 적용한 제안 특징을 기반으로 자연어 기반 기술을 생성하기 위해 속성 증강 캡션 아키텍처를 활용한다.
• 다양한 이벤트 지속 시간에 걸쳐 정확도를 향상시키기 위해 시간 해상도가 점점 감소하는 다중 스케일 앵커 레이어(컨벌루션3번에서 컨벌루션11번까지)를 사용한다.
• 모델 전체를 엔드 투 엔드로 학습시켜 탐지 및 캡션 목표의 전역 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 다수의 이벤트 캡션화에서 시간적 이벤트 국소화와 문장 생성 간의 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 기술적 특성 회귀를 통한 언어 기반 피드백이 시간적 이벤트 제안의 정확도를 향상시킬 수 있는가?
• RQ3 탐지 및 캡션의 공동 최적화가 순차적 또는 두 단계적 접근 방식보다 우수한 성능을 내는가?
• RQ4 다중 스케일 앵커 레이어가 다수의 이벤트 캡션화에서 국소화 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 프레임워크는 공식 ActivityNet Captions 테스트 세트에서 이전 모든 방법을 능가하는 새로운 최신 기술 수준(SOTA) METEOR 점수 12.96%를 기록하였다.
• 기술적 특성 회귀 구성 요소는 검증 세트에서 60.07%의 AUC 점수를 기록함으로써 시간적 이벤트 제안 성능을 크게 향상시켰으며, TAG, DCE, TURN을 모두 능가했다.
• C3D 특징 대신 P3D ResNet 특징를 사용함으로써 METEOR 점수가 12.85%에서 12.96%로 상승하여 더 풍부한 클립 수준 표현의 이점이 있음을 입증했다.
• 제거 분석 결과, 다양한 시간 해상도를 가진 앵커 레이어의 수를 늘릴수록 성능 향상이 이루어지며, 컨벌루션3번에서 컨벌루션11번까지의 조합이 정확도와 모델 복잡도 사이의 최적의 균형을 이룬다.
• 기술적 특성 회귀를 통한 공동 학습은 국소화된 이벤트와 그 기술 간의 일치도를 향상시켰으며, 문장 관련성 및 국소화 재현율 향상으로 확인되었다.