[논문 리뷰] Hierarchical Modular Network for Video Captioning

Hanhua Ye, Guorong Li외 4명|arXiv (Cornell University)|2021. 11. 24.

Multimodal Machine Learning Applications인용 수 10

한 줄 요약

이 논문은 비디오 캡션에 대한 계층적 모듈러 네트워크를 제안하며, 각 수준에서 영상 특징과 언어적 의미를 정렬함으로써 다수 수준의 시각적 표현—엔티티, 술어, 문장—을 학습한다. 이 방법은 트랜스포머 기반 엔티티 모듈을 사용하여 주목할 만한 객체를 선택하여 캡션 생성 성능을 크게 향상시키며, MSVD에서 SOTA CIDEr 점수 104.0, MSR-VTT에서 51.5를 기록한다.

ABSTRACT

Video captioning aims to generate natural language descriptions according to the content, where representation learning plays a crucial role. Existing methods are mainly developed within the supervised learning framework via word-by-word comparison of the generated caption against the ground-truth text without fully exploiting linguistic semantics. In this work, we propose a hierarchical modular network to bridge video representations and linguistic semantics from three levels before generating captions. In particular, the hierarchy is composed of: (I) Entity level, which highlights objects that are most likely to be mentioned in captions. (II) Predicate level, which learns the actions conditioned on highlighted objects and is supervised by the predicate in captions. (III) Sentence level, which learns the global semantic representation and is supervised by the whole caption. Each level is implemented by one module. Extensive experimental results show that the proposed method performs favorably against the state-of-the-art models on the two widely-used benchmarks: MSVD 104.0% and MSR-VTT 51.5% in CIDEr score.

연구 동기 및 목표

• 세부적인 언어적 감독을 통합하여 영상 표현과 언어적 캡션 사이의 의미 갭을 해소하기 위해.
• 캡션의 엔티티, 술어, 전체 문장에 대응하는 계층적 시각적 표현을 학습하여 비디오 캡션 성능을 향상시키기 위해.
• 캡션 내용에 대한 관련성을 바탕으로 모든 검출된 객체 중 주요 객체를 선택하는 새로운 엔티티 모듈을 개발하기 위해.
• 단순히 동사만이 아니라 동사 + 명사 조합인 술어를 모델링하여 동사 표현의 모호성을 줄이기 위해.
• 전체 캡션 임베딩으로 문장 수준 표현을 감독함으로써 전반적인 캡션 일관성을 향상시키기 위해.

제안 방법

• 모델은 엔티티, 술어, 문장 모듈로 구성된 세 수준의 계층적 프레임워크를 사용하며, 각 모듈은 해당하는 언어 단위로 감독된다.
• 엔티티 모듈은 영상 콘텐츠 향상 쿼리를 사용하는 트랜스포머 인코더-디코더 아키텍처를 사용하여 캡션에 가장 관련성이 높은 객체를 식별한다.
• 술어 모듈은 강조된 엔티티에 조건부로 행동 표현을 학습하며, 캡션의 술어(동사 + 명사)로 감독된다.
• 문장 모듈은 전체 캡션 임베딩으로 감독되어 글로벌 영상 표현을 학습하며, 의미적 일관성을 보장한다.
• 모든 모듈은 다수 수준의 감독을 통해 엔드 투 엔드로 훈련되며, 시각적 및 언어적 표현의 공동 최적화를 가능하게 한다.
• 엔티티 모듈은 영상 콘텐츠에 주목하는 가속화 가능한 쿼리 메커니즘을 사용하며, 실제 엔티티(추상적 명사가 아님)로 감독된다.

실험 결과

연구 질문

• RQ1 엔티티, 술어, 문장 수준의 다수 수준 언어 감독이 영상 표현과 언어 의미 간의 정렬을 향상시켜 비디오 캡션 성능을 향상시킬 수 있는가?
• RQ2 전용 엔티티 모듈을 통해 주요 객체를 선택하면 더 정확하고 집중적인 캡션 생성이 가능한가?
• RQ3 동사만이 아니라 동사 + 명사 조합인 술어를 모델링할 경우 표현 품질과 캡션 정확도에 어떤 영향을 미치는가?
• RQ4 계층적 감독이 영상 콘텐츠와 자연어 기술 간의 의미 갭을 어느 정도 감소시키는가?
• RQ5 엔티티 모듈의 쿼리 수가 주목할 만한 객체 선택과 전체 캡션 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 모델은 MSVD 벤치마크에서 SOTA CIDEr 점수 104.0을 기록하며 이전의 SOTA 방법들을 능가한다.
• MSR-VTT 벤치마크에서는 CIDEr 점수 51.5를 기록하여 데이터셋의 복잡성에도 불구하고 뛰어난 성능을 보였다.
• 제거 실험 결과, 엔티티 감독을 명사 감독으로 대체하거나 술어 감독을 동사 감독으로 대체할 경우 성능이 크게 하락함으로써 세부 감독의 가치를 확인했다.
• 엔티티 모듈의 쿼리에서 영상 콘텐츠를 제거하면 성능이 뚜렷이 저하됨으로써 콘텐츠 인식 쿼리 향상의 중요성을 입증했다.
• 엔티티 모듈의 쿼리 수는 성능에 비단조화적인 영향을 미치며, 최적의 성능은 중간 수준의 쿼리 수(예: 5–10)에서 달성된다.
• 정성적 결과는 엔티티 모듈이 다양한 영상 장면에서 주목할 만한 객체를 정확히 식별하고 불필요하거나 관련 없는 객체는 무시함을 확인했다.