[논문 리뷰] Grounded Objects and Interactions for Video Captioning

Chih‐Yao Ma, Asim Kadav외 4명|arXiv (Cornell University)|2017. 11. 16.

Multimodal Machine Learning Applications참고 문헌 29인용 수 5

한 줄 요약

이 논문은 영상 프레임에서 영역 제안(ROIs)을 기반으로 고차원 객체 상호작용을 이용해 언어 생성을 지도하는 순환 주의 메커니즘을 사용하는 비디오 캡셔닝 모델인 SINet-Caption을 제안한다. 군집화된 시나리오 맥락과 세분화된 객체 상호작용을 동시에 모델링함으로써, ResNeXt 특징을 사용할 때 ActivityNet Captions 데이터셋에서 1차 검증 세트에서 CIDEr 점수 44.14를 기록하며 최신 기술 수준을 달성한다.

ABSTRACT

We address the problem of video captioning by grounding language generation on object interactions in the video. Existing work mostly focuses on overall scene understanding with often limited or no emphasis on object interactions to address the problem of video understanding. In this paper, we propose SINet-Caption that learns to generate captions grounded over higher-order interactions between arbitrary groups of objects for fine-grained video understanding. We discuss the challenges and benefits of such an approach. We further demonstrate state-of-the-art results on the ActivityNet Captions dataset using our model, SINet-Caption based on this approach.

연구 동기 및 목표

• 전체 시나리오 이해에만 의존하는 것과는 달리, 언어 생성을 고차원 객체 상호작용에 기반하게 하여 비디오 캡셔닝을 향상시키는 것.
• 영상에서 모든 쌍별 객체 관계를 탐지하는 데에 효율성이 떨어지는 문제를 해결하기 위해, 의미 있는 객체 군집을 탐지하기 위한 확장 가능한 순환 방법을 제안하는 것.
• 더 정확하고 기술적인 캡셔닝 생성을 위해 군집화된 시각적 맥락과 세분화된 객체 상호작용 표현을 통합하는 것.
• 영역 제안과 주의 메커니즘을 사용한 엔드 투 엔드 훈련을 통해 도전적인 ActivityNet Captions 데이터셋에서 최신 기술 성능을 입증하는 것.

제안 방법

• 모델은 사전 학습된 객체 검출기 의존 없이 영상 프레임에서 객체 제안(ROIs)을 추출하기 위해 영역 제안 네트워크(RPN)를 사용하여 도메인 이동과 추적 복잡성을 방지한다.
• 순환 고차원 상호작용 모듈은 현재 프레임 표현, 과거 상호작용, 객체 제안의 투영된 특징에 대한 내적 곱 주의를 통해 관련성이 높은 객체 군집을 동적으로 선택한다.
• 주의 메커니즘은 투영된 이미지 표현, 과거 상호작용 상태, 객체 특징에서 입력을 받아 맥락 인식 가중치를 계산하여 공간적 및 시간적 종속성을 함께 모델링한다.
• 비디오 특징과 언어 표현 간에 공액 주의를 적용하여, 각 단어 생성 단계에서 관련 있는 영상 프레임과 객체 상호작용에 주의를 기울일 수 있도록 한다.
• 객체 상호작용 표현은 LSTM 셀을 통해 업데이트되어, 시간에 따라 프레임 간의 상호작용을 융합하고 변화하는 관계를 포착한다.
• ADAM 옵timizer를 사용하여 모델을 훈련하며, 배치 크기는 32, 드롭아웃 비율은 0.5로 설정하고, 검증 손실가 포화에 도달하면 학습률 감소를 적용한다.

실험 결과

연구 질문

• RQ1 비디오 캡셔닝을 고차원 객체 상호작용에 기반하게 하여 캡셔닝 품질과 세분화된 이해도를 향상시킬 수 있는가?
• RQ2 모든 쌍별 계산을 수행하지 않고도 영상에서 고차원 객체 상호작용을 효율적으로 탐지하고 모델링할 수 있는가?
• RQ3 군집화된 시나리오 맥락과 세분화된 객체 상호작용을 조합할 경우 비디오 캡셔닝 성능에 얼마나 기여하는가?
• RQ4 순환 주의 메커니즘이 캡셔닝 생성을 위한 의미 있는 객체 군집을 효과적으로 선택하고 표현할 수 있는가?

주요 결과

• SINet-Caption는 ResNeXt 특징을 사용하여 ActivityNet Captions의 1차 검증 세트에서 CIDEr 점수 44.14를 기록하며 이전 방법들을 능가한다.
• 1차 검증 세트에서 BLEU-4 점수는 2.17, METEOR 점수는 9.73를 기록하여 참조 캡셔닝과 강한 n-gram 및 의미적 일치를 보여준다.
• 이미지 수준의 맥락 없이 오직 객체 수준의 특징만을 사용했을 때도 CIDEr 점수 42.20을 기록하여, 객체 상호작용 자체만으로도 뛰어난 성능을 낼 수 있음을 보여준다.
• 제거 실험을 통해 공액 주의를 통한 이미지 및 객체 특징의 조합이 가장 높은 성능을 내며 CIDEr 점수 44.14를 기록함을 확인했다.
• 정성적 분석 결과, 모델은 단어 생성 과정에서 관련 있는 객체와 그들의 상호작용을 효과적으로 강조하는 것으로 나타났다. 예를 들어, 한 사람이 웨이크보드 위에 올라서는 일이나 두 사람이 레크리에이션 라켓볼을 하고 있는 장면을 잘 인식한다.
• 어떤 경우에서는 여러 마리 낙타 위에 여러 명의 사람이 있는 것을 탐지하지 못했으며, 이는 훈련 데이터의 애너테이션 편향으로 인해 주로 선두 인물에 초점을 맞춘 캡셔닝을 유도했기 때문일 수 있다.