[논문 리뷰] Object-aware Aggregation with Bidirectional Temporal Graph for Video Captioning

Junchao Zhang, Yuxin Peng|arXiv (Cornell University)|2019. 06. 11.

Multimodal Machine Learning Applications참고 문헌 35인용 수 10

한 줄 요약

이 논문은 주목할 만한 객체의 세부적인 시간 동적 특성을 캡처하기 위해 이중 방향 시간 그래프를 사용하고, 학습 가능한 VLAD를 통한 객체 인식 집합을 적용하여 분류 가능한 시공간 표현을 학습하는 비디오 캡셔닝 모델인 OA-BTG을 제안한다. 이 방법은 객체별 시간 경로와 계층적 어텐션을 활용하여 MSVD 및 MSR-VTT에서 최신 기술 성능을 달성하며, BLEU@4, METEOR, CIDEr 지표에서 이전 방법들을 능가한다.

ABSTRACT

Video captioning aims to automatically generate natural language descriptions of video content, which has drawn a lot of attention recent years. Generating accurate and fine-grained captions needs to not only understand the global content of video, but also capture the detailed object information. Meanwhile, video representations have great impact on the quality of generated captions. Thus, it is important for video captioning to capture salient objects with their detailed temporal dynamics, and represent them using discriminative spatio-temporal representations. In this paper, we propose a new video captioning approach based on object-aware aggregation with bidirectional temporal graph (OA-BTG), which captures detailed temporal dynamics for salient objects in video, and learns discriminative spatio-temporal representations by performing object-aware local feature aggregation on detected object regions. The main novelties and advantages are: (1) Bidirectional temporal graph: A bidirectional temporal graph is constructed along and reversely along the temporal order, which provides complementary ways to capture the temporal trajectories for each salient object. (2) Object-aware aggregation: Learnable VLAD (Vector of Locally Aggregated Descriptors) models are constructed on object temporal trajectories and global frame sequence, which performs object-aware aggregation to learn discriminative representations. A hierarchical attention mechanism is also developed to distinguish different contributions of multiple objects. Experiments on two widely-used datasets demonstrate our OA-BTG achieves state-of-the-art performance in terms of BLEU@4, METEOR and CIDEr metrics.

연구 동기 및 목표

• 정확하고 세밀한 기술을 위해 주목할 만한 객체의 세부적인 시간 동적 특성을 캡처함으로써 비디오 캡처를 향상시키는 것.
• 세부적인 공간적 및 시간적 정보를 유지하는 객체 인식 시공간 표현을 학습함으로써 전역 특징 추출의 한계를 해결하는 것.
• 이중 방향 시간 모델링과 객체별 특징 집합을 통합함으로써 분류 가능한 비디오 표현 학습을 향상시키는 것.
• 계층적 어텐션 메커니즘을 사용하여 복잡한 장면에서 다수의 객체 기여도를 구분하는 것.
• 객체 인식 집합과 이중 방향 시간 그래프 학습을 통합한 통합 프레임워크를 통해 비디오 캡처에서 최신 기술 성능을 달성하는 것.

제안 방법

• 비디오의 시간 순서를 따라 전방 및 후방 그래프를 생성함으로써 각 주목할 만한 객체에 대한 상보적인 시간 경로를 캡처하는 이중 방향 시간 그래프를 구축한다.
• 객체 수준의 시간 경로와 전역 프레임 시퀀스에 대해 학습 가능한 VLAD(Very Large Descriptor)를 적용하여 객체 인식 지역 특징 집합을 수행한다.
• 대표 표현 학습 중에 다양한 객체 인스턴스의 기여도를 동적으로 가중하기 위해 계층적 어텐션 메커니즘을 도입한다.
• 이중 방향 시간 그래프와 VLAD 기반 집합을 모두 처리하는 두 개의 스트림 아키텍처를 사용한다: 하나는 객체별 특징을 위한 것이고, 다른 하나는 전역 프레임 특징을 위한 것이다.
• 학습된 분류 가능한 시공간 표현을 기반으로 자연어 캡처를 생성하기 위해 어텐션 기반의 시퀀스-투-시퀀스 디코더를 사용한다.
• 캡처 생성을 위한 교차 엔트로피 손실을 사용하여 엔드 투 엔드 학습을 수행하며, 특징 학습과 캡처 성능을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 이중 방향 시간 그래프 모델링은 비디오 캡처에서 주목할 만한 객체의 세밀한 시간 동적 특성을 향상시키는 데 기여하는가?
• RQ2 학습 가능한 VLAD를 사용한 객체 인식 특징 집합은 전역 특징 풀링에 비해 분류 가능한 시공간 표현 학습을 얼마나 향상시키는가?
• RQ3 계층적 어텐션은 다수의 객체 기여도를 구분함으로써 캡처 성능을 얼마나 향상시키는가?
• RQ4 이중 방향 시간 그래프와 객체 인식 집합을 결합하면 표준 비디오 캡처 벤치마크에서 최신 기술 성능을 달성하는가?
• RQ5 복잡한 상호작용이나 공간 관계(예: '소파 위에')를 포착하는 데 모델의 정량적 및 정성적 한계는 무엇인가?

주요 결과

• OA-BTG는 MSVD 및 MSR-VTT 데이터셋에서 모두 최신 기술 성능을 달성하였으며, 단일 방향 기반선 대비 BLEU@4, METEOR, CIDEr에서 각각 3.25%, 1.15%, 5.45% 향상되었다.
• 뒤로 가는 시간 그래프만 사용해도 MSR-VTT에서 BLEU@4가 1.2%, METEOR가 1.0%, CIDEr가 3.0% 향상되어 역방향 시간 모델링의 가치를 입증하였다.
• 단일 방향 시간 그래프를 사용한 객체 인식 집합은 전역 기반선 대비 성능 향상을 보였으며, MSVD에서 BLEU@4는 0.6%, METEOR는 1.3%, CIDEr는 1.7% 향상되었다.
• 제거 실험 결과는 이중 방향 시간 그래프와 객체 인식 집합이 모두 필수적임을 확인하였으며, 이들의 조합이 가장 높은 성능 향상을 이끌었다.
• 정성적 결과는 OA-BTG가 객체 경로를 모델링함으로써 더 정확하고 세밀한 기술(예: '빵 조각 자르기' → '요리하기')을 생성함을 보여주었다.
• 실패 사례는 '소파 위에'와 같은 공간 관계나 ' chase '과 같은 동작을 포착하는 데 어려움을 겪어 객체 상호작용 및 장거리 의존성 모델링의 한계를 보여주었다.