[논문 리뷰] Activitynet 2019 Task 3: Exploring Contexts for Dense Captioning Events in Videos

Shizhe Chen, Yuqing Song외 6명|arXiv (Cornell University)|2019. 07. 11.

Multimodal Machine Learning Applications참고 문헌 10인용 수 9

한 줄 요약

이 논문은 다이내믹 비디오 캡션에 대한 다섯 가지 문맥 유형—세그먼트 수준, 국소적, 전반적, 이벤트, 문장 수준—에 대한 체계적인 평가를 제안한다. 내부 이벤트 및 외부 이벤트 캡션 모델을 도입하였으며, 내부 이벤트 모델은 국소적 및 전반적 문맥을 효과적으로 활용하여 ActivityNet 2019 챌린지에서 SOTA 성능(9.91 METEOR)을 달성한다. 반면, 외부 이벤트 모델은 속도 저하와 약간의 정확도 감소를 감수하면서도 캡션의 다양성을 향상시킨다.

ABSTRACT

Contextual reasoning is essential to understand events in long untrimmed videos. In this work, we systematically explore different captioning models with various contexts for the dense-captioning events in video task, which aims to generate captions for different events in the untrimmed video. We propose five types of contexts as well as two categories of event captioning models, and evaluate their contributions for event captioning from both accuracy and diversity aspects. The proposed captioning models are plugged into our pipeline system for the dense video captioning challenge. The overall system achieves the state-of-the-art performance on the dense-captioning events in video task with 9.91 METEOR score on the challenge testing set.

연구 동기 및 목표

• 다양한 문맥 정보 유형이 다이내믹 비디오 캡션 성능에 기여하는 방식을 체계적으로 평가하는 것.
• 기존의 문맥 인식 능력이 부족하여 정확도와 다양성이 최적화되지 않는 전통적 비디오 캡션 모델의 한계를 해결하는 것.
• 이벤트 기반 기술 생성에서 정확도와 다양성 측면에서 내부 이벤트 및 외부 이벤트 캡션 모델 간의 성능을 비교하는 것.
• METEOR 기반 평가 지표에 중점을 두어 ActivityNet 2019 챌린지에 최적화된 다이내믹 비디오 캡션 파이프라인을 최적화하는 것.
• 비트림 영상에서 정확하고 다양한 이벤트 캡션을 생성하기 위해 가장 효과적인 문맥 유형과 모델링 전략을 규명하는 것.

제안 방법

• 세그먼트 수준, 국소적, 전반적, 이벤트, 문장 수준의 다섯 가지 유형의 문맥을 제안하며, 각각 이벤트 표현을 풍부하게 하도록 설계된다.
• 내부 이벤트(각 이벤트별로 독립적)와 외부 이벤트(다른 이벤트에 의존함)의 두 가지 유형의 캡션 모델을 설계하여 병렬 처리와 문맥 인식 기반 생성을 가능하게 한다.
• 세그먼트 수준 특징에 전반적 비디오 문맥을 암묵적으로 통합하기 위해 LSTM 기반 특징 인코딩을 활용한다.
• 목표 이벤트 주변의 국소적 시간 영역을 문맥으로 통합하여 더 나은 이해를 위한 전행 및 후행 요소를 제공한다.
• 이중 단계 프레임워크인 이벤트 제안 생성 및 문맥 인식 기반 캡션 생성을 통해 이벤트 제안을 도출한다.
• 학습 과정에서 강화 학습과 데이터 증강을 적용하여 캡션 품질과 내구성을 향상시킨다.

실험 결과

연구 질문

• RQ1 국소적, 전반적, 이벤트, 문장, 세그먼트 수준의 다양한 문맥 유형이 다이내믹 비디오 캡션의 정확도와 다양성에 어떤 기여를 하는가?
• RQ2 METEOR 점수와 캡션 다양성 측면에서 내부 이벤트 모델과 외부 이벤트 모델 간의 상대적 성능은 어떠한가?
• RQ3 시각적 문맥 외에 문장 수준의 문맥을 통합할 경우, 캡션의 연속성과 다양성이 얼마나 향상되는가?
• RQ4 전반적 문맥은 캡션 성능을 향상시키는 데 기여하는가, 아니면 관련 없는 정보로 인해 다양성이 떨어지는 노이즈를 유발하는가?
• RQ5 강화 학습과 데이터 증강과 같은 학습 전략은 ActivityNet 벤치마크에서 최종 캡션 성능에 어떤 영향을 미치는가?

주요 결과

• 국소적 및 전반적 문맥을 활용한 내부 이벤트 모델이 테스트 세트에서 최고의 METEOR 점수 9.91을 기록하며 SOTA 성능을 확립한다.
• 외부 이벤트 모델은 내부 이벤트 모델보다 유의미하게 더 다양한 캡션을 생성하며, 특히 SelfB2 및 RE2 지표에서 두드러진다. 이는 유사한 제안 간의 미세한 차이를 더 잘 구분함을 시사한다.
• 국소적 문맥과 세그먼트 수준 특징이 정확도와 다양성 양 측면에서 가장 일관된 향상을 이끌어내지만, 전반적 문맥은 관련 없는 정보로 인해 다양성은 약간 저하된다.
• 문장 수준의 문맥은 연속성을 향상시키지만, 이벤트 수준의 문맥만큼 효과적이지 않으며, 순차적 종속성으로 인해 학습 및 추론 시간이 증가한다.
• 강화 학습과 데이터 증강은 측정 가능한 성과 향상을 이끌어내며, METEOR 점수는 CrossEntropy 기반 12.10에서 두 기법을 모두 적용한 경우 14.29로 상승한다.
• 제안서 재정렬 및 캡션 재정렬을 통해 성능이 추가로 향상되었으며, 확장된 훈련 세트에서 캡션 재정렬은 12.24 METEOR를 기록하여 앙상블 모델링의 유용성을 입증한다.