[논문 리뷰] Dense-Captioning Events in Videos: SYSU Submission to ActivityNet Challenge 2020

Teng Wang, Huicheng Zheng외 1명|arXiv (Cornell University)|2020. 06. 21.

Multimodal Machine Learning Applications참고 문헌 11인용 수 5

한 줄 요약

이 논문은 활동넷 챌린지 2020 테스트 세트에서 9.28 METEOR 점수를 기록하며, 더 나은 일관성과 정확도를 보이는 다단계 밀도 높은 비디오 번역 시스템을 제안한다. 이 시스템은 시계열적 및 의미적 관계 모델링을 위해 시간-의미 관계 모듈(TSRM)을 사용하고, 계층적 RNN 디코더에서 다중모odal 융합을 향상시키기 위해 교차모달 게이팅(CMG) 블록을 도입한다.

ABSTRACT

This technical report presents a brief description of our submission to the dense video captioning task of ActivityNet Challenge 2020. Our approach follows a two-stage pipeline: first, we extract a set of temporal event proposals; then we propose a multi-event captioning model to capture the event-level temporal relationships and effectively fuse the multi-modal information. Our approach achieves a 9.28 METEOR score on the test set.

연구 동기 및 목표

• 밀도 높은 비디오 번역 과정에서 이벤트 간 시계열 관계를 모델링하는 데 있어 이전 방법의 한계를 해결하기 위해.
• 계층적 시퀀스 생성 과정에서 시각적 및 언어적 특징 간의 다중모달 융합을 향상시키기 위해.
• 이벤트 수준의 시계열적 및 의미적 구조를 명시적으로 모델링하여 번역의 일관성과 정확도를 향상시키기 위해.
• 활동넷 2020 밀도 높은 번역 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 프레임워크는 두 단계 파이프라인을 사용한다: 먼저 표준 DBG 모델을 활용해 시계열 이벤트 제안을 생성하고, 이후 수정된 이벤트 시퀀스 선택 네트워크(ESGN)를 통해 정밀도와 재현율을 균형 잡는다.
• 시간-의미 관계 모듈(TSRM)은 별도의 시간적 및 의미적 관계 브랜치를 통해 이벤트 제안 간의 상대적 시계열 위치/지속 시간과 의미 유사도를 모두 캡처한다.
• TSRM은 요소별 덧셈을 통해 관계 점수를 융합하고, 이러한 점수에 조건부 가중치 합산을 통해 관계 특징을 생성한다.
• 교차모달 게이팅(CMG) 블록은 시그모이드 활성화 함수를 사용하는 완전 연결층을 통해 동적 게이팅 가중치를 학습함으로써 계층적 RNN 디코더에서 시각적 및 언어적 특징 간의 적응적 균형을 조절한다.
• 언어 디코더는 문장 수준 RNN과 단어 수준 RNN을 포함한 계층적 RNN을 사용하며, 단어 수준 RNN은 각 이벤트 제안 내에서 주목할 만한 프레임에 집중하기 위해 어텐션을 활용한다.
• 모델은 교차 엔트로피 손실로 훈련된 후, 노출 편향을 완화하고 METEOR 점수를 향상시키기 위해 자기비판적 순서 학습(SCST)을 적용한다.

실험 결과

연구 질문

• RQ1 밀도 높은 비디오 번역에서 이벤트 간 시계열 관계를 효과적으로 모델링하는 방법은 무엇인가?
• RQ2 이벤트 수준의 명시적 의미적 및 시계열 관계 모델링이 번역 품질에 미치는 영향은 무엇인가?
• RQ3 교차모달 게이팅 메커니즘이 계층적 비디오 번역에서 다중모달 융합을 향상시키는 데 기여하는가?
• RQ4 자기비판적 순서 학습은 다수의 이벤트 출력을 포함하는 밀도 높은 번역에서 생성 성능을 향상시키는 데 어떻게 기여하는가?
• RQ5 모델 앙상블 및 훈련 데이터 확장은 테스트 세트에서 일반화 능력을 얼마나 향상시키는가?

주요 결과

• 제안된 TSRM 모듈은 이벤트 간 시계열적 및 의미적 관계를 모델링함으로써 번역 성능을 크게 향상시켰으며, 관계 모델링 없이 9.96에서 TSRM 도입 시 11.49로 METEOR 점수가 상승했다.
• 교차모달 게이팅(CMG) 블록의 포함은 시각적 및 언어적 특징의 적응적 융합을 가능하게 하여, 추론 분석에서 METEOR 점수를 11.31에서 11.49로 향상시켰다.
• 교차 엔트로피 훈련 이후 자기비판적 순서 학습(SCST)을 적용함으로써 검증 세트에서 METEOR 점수가 11.49에서 14.18로 상승했으며, 노출 편향을 감소시키는 데 효과적임을 입증했다.
• 검증 세트의 80%를 포함한 확장된 훈련 세트를 사용함으로써 검증 세트에서 METEOR 점수는 14.18에서 14.64로 상승했고, 테스트 세트에서는 9.17에서 9.28로 상승했다.
• 다른 랜덤 시드를 가진 세 개의 모델을 앙상블함으로써 테스트 세트의 METEOR 점수는 9.17에서 9.28로 상승했으며, 이는 강력한 일반화 능력과 안정성을 나타낸다.