[논문 리뷰] Bidirectional Attentive Fusion with Context Gating for Dense Video Captioning

Jingwen Wang, Wenhao Jiang외 3명|arXiv (Cornell University)|2018. 03. 31.

Multimodal Machine Learning Applications참고 문헌 41인용 수 39

한 줄 요약

이 논문은 액티비티넷 캡션 데이터셋에서 메테오 점수를 4.82에서 9.65로 100% 상승시켜 이전 최고 성능 모델을 능가하며, 밀도 높은 비디오 캡션을 위한 이중 방향적 주의 집합과 컨텍스트 게이팅을 제안한다. 이는 과거 및 미래 비디오 컨텍스트를 활용해 시간적 국소화를 향상시키는 이중 방향 제안 네트워크와, 제안 hidden 상태와 C3D 특징을 융합해 구분력 있는 이벤트 표현을 생성하는 컨텍스트 게이팅 융합 메커니즘을 포함한다.

ABSTRACT

Dense video captioning is a newly emerging task that aims at both localizing and describing all events in a video. We identify and tackle two challenges on this task, namely, (1) how to utilize both past and future contexts for accurate event proposal predictions, and (2) how to construct informative input to the decoder for generating natural event descriptions. First, previous works predominantly generate temporal event proposals in the forward direction, which neglects future video context. We propose a bidirectional proposal method that effectively exploits both past and future contexts to make proposal predictions. Second, different events ending at (nearly) the same time are indistinguishable in the previous works, resulting in the same captions. We solve this problem by representing each event with an attentive fusion of hidden states from the proposal module and video contents (e.g., C3D features). We further propose a novel context gating mechanism to balance the contributions from the current event and its surrounding contexts dynamically. We empirically show that our attentively fused event representation is superior to the proposal hidden states or video contents alone. By coupling proposal and captioning modules into one unified framework, our model outperforms the state-of-the-arts on the ActivityNet Captions dataset with a relative gain of over 100% (Meteor score increases from 4.82 to 9.65).

연구 동기 및 목표

• 밀도 높은 비디오 캡션에서 제안 생성 시 향후 컨텍스트를 무시하는 단방향 시간 모델링의 한계를 해결하기 위해.
• 동일한 시간 단계에 끝나는 겹치는 이벤트를 구분하지 못하는 기존 방법의 문제를 해결하기 위해 이벤트 표현을 향상시키기 위해.
• 컨텍스트 게이팅 메커니즘을 통해 이벤트 콘텐츠와 주변 컨텍스트의 기여도를 동적으로 조정하여 캡션 생성을 향상시키기 위해.
• 제안 및 캡션 생성 모듈을 종합적으로 통합해 엔드 투 엔드 학습 가능한 프레임워크로 통합하여 성능을 향상시키기 위해.
• 외부 데이터에 의존하지 않고 액티비티넷 캡션 데이터셋에서 최고 성능을 달성하기 위해.

제안 방법

• 제안 예측을 위해 과거 및 미래 컨텍스트를 동시에 인코딩할 수 있도록 전진 및 역방향 처리를 수행하는 이중 패스 네트워크인 이중 방향 SST를 제안한다.
• 이벤트 표현의 구분력을 높이기 위해 제안 hidden 상태와 C3D 특징을 주의 메커니즘을 통해 융합한다.
• 디코딩 중 이벤트 특징과 컨텍스트 특징의 기여도를 적응적으로 조절하는 컨텍스트 게이팅 메커니즘을 도입한다.
• 제안 점수와 캡션 신뢰도를 기반으로 높은 신뢰도의 제안-캡션 쌍을 선택하기 위해 추론 시 공동 순위 매기기 기법을 적용한다.
• 제안 및 캡션 생성 목표를 통합한 손실 함수를 사용해 전체 시스템을 엔드 투 엔드로 학습한다.
• 각 디코딩 단계에서 특징 표현을 향상시키기 위해 시간 차이 주의(TDA)를 적용한다.

실험 결과

연구 질문

• RQ1 비디오 컨텍스트의 이중 방향 모델링이 밀도 높은 비디오 캡션에서 시간 행동 제안 생성 정확도를 향상시킬 수 있는가?
• RQ2 제안 hidden 상태와 비디오 클립 특징(C3D 등)을 융합하면, 겹치는 이벤트에 대해 더 구분력 있는 이벤트 표현을 만들 수 있는가?
• RQ3 이벤트 특징과 컨텍스트 특징의 기여도를 동적으로 조절하는 컨텍스트 게이팅 메커니즘이 더 정확하고 자연스러운 언어 기반 기술을 가능하게 하는가?
• RQ4 제안과 캡션 생성을 공동 최적화하는 엔드 투 엔드 프레임워크는 분리된 또는 단일 모odal 접근 방식을 능가하는가?
• RQ5 장기적 또는 복잡한 이벤트에 대해, 다양한 비디오 길이 및 활동 유형에서 모델 성능은 어떻게 되는가?

주요 결과

• 제안된 이중 방향 SST는 향후 컨텍스트를 통합함으로써 제안 품질을 크게 향상시켜 단방향 방법을 능가한다.
• C3D 특징과 제안 hidden 상태를 융합함으로써 성능 향상이 뚜렷하게 나타났으며, 이는 액티비티넷 캡션에서 메테오 점수의 상대적 100% 상승(4.82에서 9.65로)을 통해 입증되었다.
• 컨텍스트 게이팅 메커니즘이 이벤트 특징과 컨텍스트 특징의 기여도를 동적으로 조절함으로써 캡션 품질을 향상시켜 더 정확하고 의미적으로 일관된 기술을 생성한다.
• 추론 시 공동 순위 매기기 기법을 통해 낮은 품질의 제안-캡션 쌍을 걸러내어 시스템의 신뢰도와 성능을 추가로 향상시켰다.
• 짧거나 중간 길이의 이벤트(예: 10~60초)에서 가장 우수한 성능을 보였으며, 매우 장시간 제안(>60초)에서는 성능 저하가 발생하여 장기 시퀀스 이해에 여전히 도전 과제가 있음을 시사한다.
• 다양한 활동 유형 전반에서 뛰어난 성능을 보였으며, '테니스 샷 후 볼 튀김'(메테오: 15.1)과 '스키어링'(14.7)에서 최고 점수를 기록했고, '카리테 수행'(5.4)처럼 복잡하거나 모호한 동작에서는 낮은 점수를 기록했다.