[논문 리뷰] Spatio-Temporal Graph for Video Captioning with Knowledge Distillation

Boxiao Pan, Haoye Cai외 5명|arXiv (Cornell University)|2020. 03. 31.

Multimodal Machine Learning Applications참고 문헌 52인용 수 30

한 줄 요약

이 논문은 객체 인식 지식 증류 메커니즘으로 객체 수준 정보를 씬 분기로 증류하는 객체 인식 시공간 그래프를 이용한 비디오 자막 생성 모형을 제시하며 해석 가능한 바인딩으로 경쟁력 있는 결과를 달성한다.

ABSTRACT

Video captioning is a challenging task that requires a deep understanding of visual scenes. State-of-the-art methods generate captions using either scene-level or object-level information but without explicitly modeling object interactions. Thus, they often fail to make visually grounded predictions, and are sensitive to spurious correlations. In this paper, we propose a novel spatio-temporal graph model for video captioning that exploits object interactions in space and time. Our model builds interpretable links and is able to provide explicit visual grounding. To avoid unstable performance caused by the variable number of objects, we further propose an object-aware knowledge distillation mechanism, in which local object information is used to regularize global scene features. We demonstrate the efficacy of our approach through extensive experiments on two benchmarks, showing our approach yields competitive performance with interpretable predictions.

연구 동기 및 목표

• 전역 프레임 특징을 넘어 객체 간 상호 작용을 명시적으로 모델링하기 위해 비디오 자막 생성을 동기화합니다.
• 공간-시간 객체 관계를 포착하기 위한 시공-시간 그래프를 제안합니다.
• 객체 인지 정보를 사용해 글로벌 씬 특징을 규제하는 객체 인식 지식 증류 메커니즘을 도입합니다.
• 훈련 중 객체 분기가 씬 분기에 정보를 전달하는 이중 분기 아키텍처를 개발하여, 씬 특징만으로도 효율적인 테스트를 가능하게 합니다.
• 표준 벤치마크에서 성능 및 바인딩 개선을 입증합니다.

제안 방법

• 프레임별 공간 그래프와 프레임 간 시간 그래프로 비디오를 시공-시간 그래프로 표현합니다.
• 물체 제안 간의 정규화된 IoU를 사용해 공간 인접성을 계산; 인접 프레임 간 물체 특징 간 코사인 유사도로 시간 인접성을 계산합니다.
• 통합된 시공-시간 그래프에서 그래프 합성곱으로 객체 특징을 업데이트합니다.
• 글로벌 프레임 특징을 처리하는 씬 분기를 도입하고, 소프트 로짓 수준의 증류 손실을 통해 증류된 객체 정보를 융합합니다.
• 객체 분기와 씬 분기를 위한 두 개의 독립적인 Transformer 기반 언어 디코더를 사용하고, 언어 손실과 증류 손실로 학습합니다.
• 테스트 시에는 씬 분기만 배치해 자막 생성을 수행하고, 증류된 객체 지식을 활용합니다.

실험 결과

연구 질문

• RQ1 객체 간의 명시적 시공-시간 모델링이 비디오 자막의 품질과 바인딩을 개선할 수 있는가?
• RQ2 객체 인식 지식 증류가 전역 씬 특징과의 결합 시 노이즈가 많은 객체 그래프 표현을 효과적으로 규제하는가?
• RQ3 제안하는 이중 분기 프레임워크가 표준 벤치마크에서 단일 분기 baselines 및 다른 그래프 기반 접근법과 비교해 어떤 차이가 있는가?
• RQ4 공간 그래프와 시간 그래프를 모두 포함하는 경우와 하나의 그래프 또는 밀집 그래프를 사용하는 경우의 영향은 무엇인가?
• RQ5 이 방법이 자막의 해석 가능한 시각적 바인딩을 제공하는가?

주요 결과

• MSVD에서 전체 모델이 BLEU@4, METEOR, ROUGE-L, CIDEr에서 최첨단 혹은 경쟁력 있는 성능을 보입니다.
• MSR-VTT에서 전체 모델이 강력한 기준선과 경쟁력 있는 성능을 보이며, 씬 전용 변형이 더 떨어지는 경향을 보여 객체 인지 증류의 이점을 강조합니다.
• 특성 분석은 공간 그래프와 시간 그래프 모두 유의미하게 기여하며, 사전 지식 기반 그래프가 밀집하고 비구조적인 그래프보다 더 우수하다는 것을 보여줍니다.
• 객체 인식 중심의 증류가 점유 시각 지도 및 객체 관련 자막 세부 묘사에서 바람직한 바인딩을 개선합니다.
• 로짓 수준 증류를 사용하는 이중 분기 아키텍처가 연결(concatenation)이나 L2 기반 융합보다 더 나은 성능을 보이며, 테스트 시 객체 탐지를 피할 수 있습니다.